爬取百度图片
![4a2270dbc180e6771447cb9bbdd7833b.png](https://i-blog.csdnimg.cn/blog_migrate/3186613412d717d7cba7fdc7e58be4ac.jpeg)
- 由于百度图片获取的方式是采用ajax,所以你从正常的url链接只能提取到一个页面显示的图片,也就是前30张
需要实现的效果图:
![c5ec8c96e657b4d57d4617336f2b1dee.png](https://i-blog.csdnimg.cn/blog_migrate/bb0d54aa5418d07ea1b274e7be12f073.jpeg)
目标
- 获取百度图片的URL,并且下载到本地
分析:
- F12检查来获取图片在源代码的位置。可是发现源代码里根本就找不到的。
![e3b4e91acf1d42ab62a8383882898296.png](https://i-blog.csdnimg.cn/blog_migrate/abea5a974a7339779458aea67abda1c7.jpeg)
- 下拉页面滚动条,分析XHR的变化,就可以找到所需要的Json数据,比如说这个就是分析后找的Json数据
![5ddb2b93955fc9be2f22801dc5a0c617.png](https://i-blog.csdnimg.cn/blog_migrate/a26fdd91070bf56db0b2cca83cec55c7.jpeg)
我们所需要的信息都已经找到,那么开始编写代码吧
import requestsclass Spider(object): def __init__(self): # 初始化headers self.headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" } # 指定存储路径 self.path = '/Users/admin/Desktop/Image/' self.page = int(input('请输入需要爬取的页数:')) # 获取翻页url def get_parse_url(self): urls =[] for i in range(1,self.page+1): urls.append('https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%B0%8F%E5%A7%90%E5%A7%90&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=©right=&word=%E5%B0%8F%E5%A7%90%E5%A7%90&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&pn={}&rn=30&gsm=1e&1586685349033='.format(30*i)) return urls # 获取图片url def get_immage_url(self,urls): image_url = [] for url in urls: response = requests.get(url,headers=self.headers).json() results = response.get('data') for i in results: image_url.append(i.get('thumbURL')) return image_url # 存储 def storage_image(self,image_url): i = 1 # 图片编号标记 for img_url in image_url: print('正在爬取第{}张'.format(i)) if img_url is None: continue response = requests.get(img_url,headers=self.headers).content with open(self.path + '{}.jpg'.format(i),'wb') as f: f.write(response) i +=1 def start(self): urls = self.get_parse_url() image_url = self.get_immage_url(urls) self.storage_image(image_url)Spider().start() # 调用
代码解读:
- def __init__(self): 对我们所需要的url和headers等参数进行一个初始化。
- def get_parse_url(self): 获取数据包url的翻页
- def get_immage_url(self,urls): 获取图片url
- def storage_image(self,image_url): 对下载的图片存储到指定位置
- def start(self): 把所有的方法整合,方便调用。
最终效果图:
![d714ee1af16c2db3147d3c5593213a6b.png](https://i-blog.csdnimg.cn/blog_migrate/9a765724a47fad2c1771b9f3314e1bd9.jpeg)
总结
- 本章学习了如何实现爬取海量的小姐姐图片。
- 代码定制了爬取的数量,一页是30张小姐姐美图,可以根据需求输入爬取的数量
如果本文对你有帮助,帮忙转发一下呗~
![e9863b229df1ff6e3cf281dc6702bd74.png](https://i-blog.csdnimg.cn/blog_migrate/2d006f1a020605dd2c7becd8ed2b2618.jpeg)