python爬取百度图片_python批量爬取小姐姐图片

爬取百度图片

• 由于百度图片获取的方式是采用ajax，所以你从正常的url链接只能提取到一个页面显示的图片，也就是前30张

需要实现的效果图：

目标

• 获取百度图片的URL，并且下载到本地

分析：

• F12检查来获取图片在源代码的位置。可是发现源代码里根本就找不到的。

• 下拉页面滚动条，分析XHR的变化，就可以找到所需要的Json数据，比如说这个就是分析后找的Json数据

图片链接在这个数据包里面，thumbURL对应着url，而且还发现pageNum: 30这个参数，表示一个数据包里面有30条数据(也就是30个图片链接)每一次请求的url参数，几乎都一样，只有一个参数是不同的，那就是pn，他指的是当前页面中已经展示的图片数目。

我们所需要的信息都已经找到，那么开始编写代码吧

---

import requestsclass Spider(object):    def __init__(self):        # 初始化headers        self.headers = {            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36"        }        # 指定存储路径        self.path = '/Users/admin/Desktop/Image/'        self.page = int(input('请输入需要爬取的页数：'))    # 获取翻页url    def get_parse_url(self):        urls =[]        for i  in range(1,self.page+1):            urls.append('https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%B0%8F%E5%A7%90%E5%A7%90&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=©right=&word=%E5%B0%8F%E5%A7%90%E5%A7%90&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&pn={}&rn=30&gsm=1e&1586685349033='.format(30*i))        return urls    # 获取图片url    def get_immage_url(self,urls):        image_url = []        for url in urls:            response = requests.get(url,headers=self.headers).json()            results = response.get('data')            for i in results:                image_url.append(i.get('thumbURL'))        return image_url    # 存储    def storage_image(self,image_url):        i = 1 # 图片编号标记        for img_url in image_url:            print('正在爬取第{}张'.format(i))            if img_url is None:                continue            response = requests.get(img_url,headers=self.headers).content            with open(self.path + '{}.jpg'.format(i),'wb') as f:                f.write(response)                i +=1    def start(self):        urls = self.get_parse_url()        image_url = self.get_immage_url(urls)        self.storage_image(image_url)Spider().start() # 调用

代码解读：

1. def __init__(self): 对我们所需要的url和headers等参数进行一个初始化。
2. def get_parse_url(self): 获取数据包url的翻页
3. def get_immage_url(self,urls): 获取图片url
4. def storage_image(self,image_url): 对下载的图片存储到指定位置
5. def start(self): 把所有的方法整合，方便调用。

最终效果图：

总结

• 本章学习了如何实现爬取海量的小姐姐图片。
• 代码定制了爬取的数量，一页是30张小姐姐美图，可以根据需求输入爬取的数量

如果本文对你有帮助，帮忙转发一下呗～