python爬虫：一些好用的库

一、使用fake_useragent获取随机请求头

构造浏览器的请求信息是常用的对付反爬的措施。但大多数人写一个带有请求头的爬虫会是这样写。

headers = {
'user-agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36',
'cookie':'_zap=d044d0cb-073f-4c4a-a133-0c54ae7c31ec; d_c0="AGApowWYdg6PTgbq74K8d67DngGIhXOf_os=|1541256866"; _xsrf=ZfLDdweNByG3DUrAgpuOeNBKSGnchoJZ; q_c1=82f220c8d24349f8885dbcb947a5106a|1541604279000|1541604279000; capsion_ticket="2|1:0|10:1541839165|14:capsion_ticket|44:YmE5ZWI5Mjk1NTVkNGY0MzkyNGJiZGFhMTNhODlkMGQ=|09818773e5f1278bf770d4c1f1b3e063c13fdb1f8f9c294d3580afd461ce7911"; z_c0="2|1:0|10:1541839177|4:z_c0|92:Mi4xbHN1a0FRQUFBQUFBWUNtakJaaDJEaVlBQUFCZ0FsVk5TZWZUWEFCcjVzNDNpNGpNMVBwM3VRTFpPTDZjUEVlOUZ3|e0f190bf2e22ec3b7734c65680c8aa123988959597422b82bd1a42048285d977"; tst=f; __utma=51854390.1879941288.1541839185.1541839185.1541839185.1; __utmc=51854390; __utmz=51854390.1541839185.1.1.utmcsr=zhihu.com|utmccn=(referral)|utmcmd=referral|utmcct=/follow; __utmv=51854390.100-1|2=registration_date=20150518=1^3=entry_date=20150518=1; tgw_l7_route=4902c7c12bebebe28366186aba4ffcde'
}

此种方式具备两个较为突出的缺点：

1. 构造请求头时需要到相应网也复制Headers信息，麻烦不说还容易少复制或者多复制内容，造成请求头出错，影响程序正常运行；
2. 多次使用同一请求头信息容易被反爬措施较强的网站检测到爬虫程序，造成IP被封。
   为解决这一问题，简单实用的库fake-useragent应运而生，它可以伪装生成 headers 请求头中的 User Agent 值，而且和随机模块random配合使用还可以生成随机的User Agent，它的安装方法也及其简便 ，使用常用的安装手段pip install fake_useragent即可完成安装。使用方法如下：

from fake_useragent import UserAgent    #导入fake_useragent库

ua = UserAgent(）
headers = {}
headers['user-agent'] = ua.random   #使用random产生随机user-agent
print(headers)#产生特定浏览器的请求头
print('**********************************')
print(ua.ie)  #产生ie浏览器请求头
print('****************************************')
print(ua.Chrome)  #产生chrome浏览器请求头

代码运行结果如下图所示：

注：文章来源于微信公众号”痴海“，有删改。链接如下：
https://mp.weixin.qq.com/s/Q9M4iSNjAE7GsZOuEKboqw