python爬虫之爬取百度图片(图文并排,炒鸡详细!!!)

B站视频讲解

第一步:登录百度图片官网,截图如下所示:

注意点一:开头必须是https(如上图所示,出现锁的标志),不能是http,否则后期下载图片文件会出错

第二步:输入关键字,页面加载出来之后,按F12进入开发者模式,由于百度图片ajax动态加载,点击network选项卡,重新刷新页面,查看XHR数据,截图如下所示:

第三步:分析多个XHR,得出规律,每一个页面所请求的url所携带的参数只有pn,rn,gsm(不用管)是不一样的,其中pn代表当前是第几页,rn代表一页有几条数据,截图如下所示:

第四步:上一步已经分析完url的规律,接下来我们来寻找图片的藏身之处,点开任意一个XHR,从0到29,一共三十条数据,图片的信息存储在每一个字典中,其中’thumbURL’中存储的就是地址,截图如下所示:

第五步:上一步已经分析完图片储存的地方,接下来我们来编写代码,代码如下所示:

import requests
import os

class Image():
    url = 'https://image.baidu.com/search/acjson'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.9 Safari/537.36'
    }
    varlist = []
    dir = './images'
    params = {}

    def __init__(self):
        global page_num,keywords
        page_num = int(input('请输入要抓取的页数:\n'))
        keywords = input('请输入关键字:\n')
        if self.catch_page():
            self.writeData()
        else:
            print('抓取页面失败')

    def catch_page(self):
        for i in range(0,page_num * 30,30):
            self.params = {
                'tn': 'resultjson_com',
                'ipn': 'rj',
                'ct': '201326592',
                'is': '',
                'fp': 'result',
                'queryWord': keywords,
                'cl': '2',
                'lm': '-1',
                'ie': 'utf-8',
                'oe': 'utf-8',
                'adpicid': '',
                'st': '-1',
                'z': '',
                'ic': '0',
                'hd': '',
                'latest': '',
                'copyright': '',
                'word': keywords,
                's': '',
                'se': '',
                'tab': '',
                'width': '',
                'height': '',
                'face': '0',
                'istype': '2',
                'qc': '',
                'nc': '1',
                'fr': '',
                'expermode': '',
                'force': '',
                'cg': 'girl',
                'pn': i,
                'rn': '30',
                'gsm': '',
                '1584010126096': ''
            }
            res = requests.get(url = self.url,params = self.params).json()['data']
            for j in range(0,30):
                self.varlist.append(res[j]['thumbURL'])
        if self.varlist != None:
            return True
        return False

    def writeData(self):
        # 判读是否存在文件,不存在则创建
        if not os.path.exists(self.dir):
            os.mkdir(self.dir)

        for i in range(0,page_num * 30):
            print(f'正在下载第{i}条数据')
            images = requests.get(url = self.varlist[i])
            open(f'./images/{i}.jpg','wb').write(images.content)

if __name__ == '__main__':
    Image()

第六步:完结撒花