python爬虫下载百度图片

首先进入百度图片，这里以卡莎为关键词搜索。F12进入开发者模式，可以看到在我们不滚动的情况下只显示了30张图片，而我们向下滚动拉条时，出现了新的节点，也就是Ajax渲染的。

这时分析节点的url的构造参数，可以看到参数 “queryWord: 卡莎”
正是我们的关键词，tn参数说明是这个网址的一个json文件。rn
是页面显示的图片数。只有一个变化的参数pn，pn为0就是第一次加载的30张图片，pn为30则为第二次加载的30张图片以此类推。pn的变化规律为30*i。因此构造出网址的主要部分：
“https://image.baidu.com/search/acjson?”
参数部分可以利用params参数传入。

def get_page():
    url="https://image.baidu.com/search/acjson?"
    headers = {
                "User-Agent": ''}
    params={
        "tn":"resultjson_com",
        "word":"卡莎",
        "ipn":"rj" ,
        "pn":0       
        }
    r = requests.get(url,headers=headers,params=params)
    return r.text

获取到源代码后可以利用re表达式获取图片网址。json文件中有多个图片的url，我们需要匹配的也就是高清的是"objurl": 所对应的值，因此利用正则表达式,当然也可以用json直接获取。这里有用re

def get_img(html):
    url_ls=re.findall('.*?"objURL":"(.*?)"',html,re.S)
    for items in range(len(url_ls)):
        image=requests.get(url_ls[items])
        with open("图片"+str(items+1)+".png","wb") as file:
            file.write(image.content)

最后整合一下代码，可以定义一个类，这样可以搜索任何你要所搜的图片。

import requests
import re
import os
import time
import json
class Baidupicture(object):
    
    def __init__(self,keyword):
        self.keyword=keyword
    
    def get_dir(self):
        os.mkdir(self.keyword)
        #这里是在你的工作路径下创建一个文件夹用于存储图片   
    	os.chdir(r"文件夹工作路径")
    	#这里要将文件夹设置为你的工作路径
    def get_page(self,offset):
	    url="https://image.baidu.com/search/acjson?"
	    headers = {
	                "User-Agent": ''}
	    params={
	        "tn":"resultjson_com",
	        "word":self.keyword,
	        "ipn":"rj"  ,
	        "pn":offset      
	        }
	    r = requests.get(url,headers=headers,params=params)
	    return r.text
    
    def get_img(self,html,offset):
    	#html即为获取的json文件,offset为
        url_ls=re.findall('.*?"objURL":"(.*?)"',html,re.S)
        for items in range(len(url_ls)):
            image=requests.get(url_ls[items])
            with open("图片"+str(offset+items+1)+".png","wb") as file:
                file.write(image.content)
a=Baidupicture("卡莎")
a.get_dir()
for offset in [x for x in range(61) if x%30==0]:
    html=a.get_page(offset)
    a.get_img(html,offset)