python 爬虫抓取网站img图片

最新推荐文章于 2025-09-09 15:42:46 发布

原创

最新推荐文章于 2025-09-09 15:42:46 发布 · 6k 阅读

7 ·

CC 4.0 BY-SA版权

本文介绍了使用Python进行网页图片抓取的基本步骤和常见技巧，包括设置请求头、解析HTML获取图片链接、下载保存图片，并探讨了如何处理反爬虫策略及图片验证码的应对方法。


from getHtml import getHtmlWinthIp
from getHtml import  getHtml
from bs4 import BeautifulSoup
from urllib import request#为了存储
import os #为了创建文件夹
imgsrcl = []
def getD(url,no):
    html = getHtmlWinthIp(url)

    soup = BeautifulSoup(html,'html.parser')

    #寻找parent
    parent = soup.find(id='content').find('ul')
    #找到所有的li

    lis = parent.find_all('li',limit=no)

    #新建列表存储所有的src

    for each in lis:
        #each.find('img').attrs这是所有img的属性组成的字典
        src = each.find('img').attrs['src']#读取字典的src
        imgsrcl.append(src)#添加到总的列表


    # os.mkdir()#创建文件夹
    # os.chdir()#改变文件路径
    # os.path.exists()#判断是否已经存在某文件夹
    
def store():
    if os.path.exists('范冰冰2'):
        os.chdir('范冰冰2')
    else:
        os.mkdir('范冰冰2')
        os.chdir('范冰冰2')
        
    # 存储
    for i, v in enumerate(imgsrcl):
        request.urlretrieve(v, str(i + 1) + '.jpg')
def main(n):
    for index in range(30,n+31,30) :
        url = 'https://movie.douban.com/celebrity/1050059/photos/