爬取百度搜索图片的缩略图

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,,版权归原作者所有，如有问题请及时联系我们以作处理

作者：stones4zd   

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

找图，通过百度之类的搜索引擎最方便。

如何爬取百度搜索的图片，也是一个有意思的话题。

进入百度图片，随便输入搜索内容，比如“美女”。

打开 F12 ，查看 network ，选择 XHR，查看 AJAX 加载项。会发现，有一个 JSON 文件。随着页面向下滚动，JSON 会依次加载。说明，这个 JSON 就是跟图片内容有关的JSON。

分析 JSON 路径：

https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8249781613697439763&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E7%BE%8E%E5%A5%B3&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E7%BE%8E%E5%A5%B3&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=1&fr=&expermode=&force=&cg=girl&pn=30&rn=30&gsm=1e&1609213971470=

参数 word 和 queryWord 后面的内容就是专为地址码的“美女”汉字。 

选中这个 JSON，对数据进行分析。在右边会发现很多属性值是地址，其中一个 thumbURL 就存储了搜索的缩略图地址。这个就是我们要找的目标~！ 我们的目的是把缩略图爬下来~

开始编码，用到的知识点：

1. urllib.parse 模块，把汉字换位 URL地址码

2. requests 模块，爬取 JSON 和图片。

3. re 模块，利用正则表达式在 JSON 中抽取缩略图地址。

具体代码如下。

    # 设置headers 为了防止反扒，设置多个headers

    # chrome，firefox，Edge

    headers = [

    {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36',

    'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',

    'Connection': 'keep-alive'

    },

    {

    "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:79.0) Gecko/20100101 Firefox/79.0',

    'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',

    'Connection': 'keep-alive'

    },

    {

    "User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19041',

    'Accept-Language': 'zh-CN',

    'Connection': 'keep-alive'

    }

    ]

    cn = input("请输入要搜索的图片：")

    bfb = urllib.parse.quote(cn) # 转码

    print( bfb )

    # print( urllib.parse.unquote(bfb) ) # 解码

    # 百度检索结果 json 路径

    webURL = r"https://image.baidu.com/search/acjson?tn=resultjson_com&logid=10895392189573015052&ipn=rj&ct=201326592&is=&fp=result&queryWord={bfb}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=&copyright=&word={bfb}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&cg=girl&pn={page}&rn=30&gsm=1e&1608997121898=".format(bfb=bfb, page=1*30)

    # 获取 json 内容

    req = requests.get(url=webURL, headers=random.choice(headers))

    req.encoding = req.apparent_encoding # 防止中文乱码

    webJSON = req.text

    # 获取图片 list。图片地址都在 "thumbURL":"xxxx" 里面。这里只需要缩略图。

    # 利用正则表达式获取图片路径

    imgurlReg = '"thumbURL":"(.*?)"'

    picList = re.findall(imgurlReg, webJSON, re.DOTALL | re.I)

    # 请求每张图片

    for item in picList:

    img_req = requests.get(url=item, headers=random.choice(headers))

    imgFile = "img/"+item.split("/")[-1]

    # 下载图片

    with open(imgFile, "wb") as f:

    f.write(img_req.content)

    print(item+" 下载完毕")

完美。