Python3 爬虫（三） -- 爬取豆瓣首页图片

前面已经完成了简单网页以及伪装浏览器的学习。下面，实现对豆瓣首页所有图片爬取程序，把图片保存到本地一个路径下。

首先，豆瓣首页部分图片展示

这只是截取的一部分。下面给出，整个爬虫程序。

爬虫程序

这个爬取图片的程序采用伪装浏览器的方式，只不过是加了处理图片的模块。

[python]  view plain  copy

 

1. ''''' 
2. 批量下载豆瓣首页的图片 
3.  
4. 采用伪装浏览器的方式爬取豆瓣网站首页的图片，保存到指定路径文件夹下 
5. '''  
6.   
7. #导入所需的库  
8. import urllib.request,socket,re,sys,os  
9.   
10. #定义文件保存路径   要确保存在该路径
11. targetPath = "E:\\projects\\Spider\\03_dbImages"  
12.   
13. def saveFile(path):  
14.     #检测当前路径的有效性  
15.     if not os.path.isdir(targetPath):  
16.         os.mkdir(targetPath)  
17.   
18.     #设置每个图片的路径  
19.     pos = path.rindex('/')  
20.     t = os.path.join(targetPath,path[pos+1:])  
21.     return t  
22.   
23. #用if __name__ == '__main__'来判断是否是在直接运行该.py文件  
24.   
25.   
26. # 网址  
27. url = "https://www.douban.com/"  
28. headers = {  
29.               'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '                            'Chrome/51.0.2704.63 Safari/537.36'  
30.            }  
31.   
32. req = urllib.request.Request(url=url, headers=headers)  
33.   
34. res = urllib.request.urlopen(req)  
35.   
36. data = res.read()  
37.   
38. for link,t in set(re.findall(r'(https:[^s]*?(jpg|png|gif))', str(data))):  
39.   
40.     print(link)  
41.     try:  
42.         urllib.request.urlretrieve(link,saveFile(link))  
43.     except:  
44.         print('失败')  

爬取结果

（1）打印出来的信息

（2）爬取的图片列表