Python3 爬虫（二） -- 伪装浏览器

一、伪装浏览器

对于一些需要登录的网站，如果不是从浏览器发出的请求，则得不到响应。所以，我们需要将爬虫程序发出的请求伪装成浏览器正规军。
具体实现：自定义网页请求报头。

二、使用Fiddler查看请求和响应报头

打开工具Fiddler，然后再浏览器访问“https://www.douban.com/”，在Fiddler左侧访问记录中，找到“200 HTTPS www.douban.com”这一条，点击查看其对应的请求和响应报头具体内容：

三、访问豆瓣

我们自定义请求报头与上图Request Headers相同内容：

[python]  view plain  copy

 

1. ''''' 
2. 伪装浏览器 
3.  
4. 对于一些需要登录的网站，如果不是从浏览器发出的请求，则得不到响应。 
5. 所以，我们需要将爬虫程序发出的请求伪装成浏览器正规军。 
6. 具体实现：自定义网页请求报头。 
7. '''  
8.   
9. #实例二：依然爬取豆瓣，采用伪装浏览器的方式  
10.   
11. import urllib.request  
12.   
13. #定义保存函数  
14. def saveFile(data):  
15.     path = "E:\\projects\\Spider\\02_douban.out"  
16.     f = open(path,'wb')  
17.     f.write(data)  
18.     f.close()  
19.   
20. #网址  
21. url = "https://www.douban.com/"  
22. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '  
23.                         'Chrome/51.0.2704.63 Safari/537.36'}  
24. req = urllib.request.Request(url=url,headers=headers)  
25.   
26. res = urllib.request.urlopen(req)  
27.   
28. data = res.read()  
29.   
30. #也可以把爬取的内容保存到文件中  
31. saveFile(data)  
32.   
33. data = data.decode('utf-8')  
34. #打印抓取的内容  
35. print(data)  
36.   
37.   
38. #打印爬取网页的各类信息  
39. print(type(res))  
40. print(res.geturl())  
41. print(res.info())  
42. print(res.getcode())  

四、输出的结果结果（截取部分）

结果文件内容