Python爬图做壁纸

最近想要点壁纸，于是就去网上找了几篇python爬取百度图片的文章，这里给出参考网址：

【Python 爬虫】爬取百度图片 - 知乎

 Python爬取图片_Mr.Haley的博客-CSDN博客_python爬图

百度图片参数解析_vike_123的博客-CSDN博客

python爬虫爬取到的网址和文档带有多余的反斜杠的处理_Roxannekkk的博客-CSDN博客_爬虫爬到反斜杠怎么去除

1.爬取数据前首先要了解数据，这里就去到搜索了一下自己喜欢的主题：

2.按f12键进入开发人员工具（我这里用的是360浏览器，推荐谷歌浏览器）

3.进入开发人员选项后注意要勾选XHR(全称为XMLHttpRequest，用于与服务器交互数据，是ajax功能实现所依赖的对象)。如果看不到数据我们可以刷新一下网页，刷新完后鼠标放在动漫图片那滚动几下，让浏览器多加载几条数据，分析xhr数据我们发现请求的信息前面都是一模一样的，后面三个不同，鼠标在图片页面上多滚动几次就会发现pn是以30-60-90-120这样增长的（也就是每次请求30张图片），gsm是30-60-90-120的十六进制表示：

那最后一个参数则是请求发出的时间截（请求发出时间）。参考了百度的文章发现还有很多参数是可以修用起来的，比如尺寸和搜索主题这些。

想搜索的图片尺寸：

还有就要注意的是许多爬取的文章都是使用thumbURL获取的图片（好处在于不会有失效的情况），这里就用的是ObjURL图片来源的网站（有可能会有失效的情况），而且爬取过程会出现获取的json数据转义现象，所以需要修正一下：

3.爬取效果图：

4.话不多说直接上码：

import time
import requests
import os
import re
from fake_useragent import UserAgent

def fixed_link(links=[]):
    for i in range(len(links)):
        links[i]=links[i].replace('\\','')

def baidu_get(keyword,number,save_dir,width='',height=''):
    '''
    keyword： 搜索的图片类型
    number：要多少张
    save_dir：保存路径
    width: 水平尺寸
    height: 垂直尺寸
    '''
    url = 'https://image.baidu.com/search/acjson?'
    header = {
        'User-Agent': UserAgent().random
    }

    n = 1
    page_num = number // 30 if number % 30 == 0 else number // 30 + 1

    for pn in range(0, 30 * page_num, 30):
        param = {'tn': 'resultjson_com',
                # 'logid': '9167212484244624535',
                'ipn': 'rj',
                'ct': 201326592,
                'is': '',
                'fp': 'result',
                'fr':'',
                'word': keyword,
                'queryWord': keyword,
                'cl': 2,
                'lm': -1,
                'ie': 'utf-8',
                'oe': 'utf-8',
                'adpicid': '',
                'st': -1,
                'z': '',
                'ic': 0,
                'hd': '',
                'latest': '',
                'copyright': '',
                's': '',
                'se': '',
                'tab': '',
                'width': width,
                'height': height,
                'face': 0,
                'istype': 2,
                'qc': '',
                'nc': '',
                'expermode': '',
                'nojc':'',
                'isAsyn':'',
                'pn': pn,        # 页码：30-60-90
                'rn': '30',      # 每页数据 30 条
                'gsm': hex(pn),  # pn的十六进制
                str(int(round(time.time() * 1000))):'' #获得13位的时间戳（java 13位 python 10位）
                }
        request = requests.get(url=url, headers=header, params=param)
        if request.status_code == 200:
            print('Request success.')
        request.encoding = 'utf-8'
        # 正则方式提取图片链接
        image_url_list = re.findall('"ObjURL":"(.*?)",', request.text, re.S)
        fixed_link(image_url_list) #修正图片地址

        if not os.path.exists(save_dir): #判断保存文件的目录是否存在，如果不在就创建
                os.makedirs(save_dir)

        for image_url in image_url_list: #循环图片地址，一个请求有30张
            print(image_url) #打印图片地址
            try: 
                image_data = requests.get(url=image_url, headers=header).content
                with open(os.path.join(save_dir, f'{n:06d}.jpg'), 'wb') as fp:
                    fp.write(image_data)
                n = n + 1
                if n > number:
                    return
            except Exception as err:
                print(f"发生错误:{str(err)}") #可能原图网页内容变动，获取不到原图，继续获取

if __name__ == '__main__':
    baidu_get('动漫',62,'./爬取/动漫壁纸',1080,1920) #baidu_get主题、需要获取图片个数、存放位置、像素