User-Agent
:简称UA,它是一个特殊的字符串头,可以使服务器识别客户使用的操作系统及版本、浏览器及版本等信息。在做爬虫时加上此信息,可以伪装为浏览器;如果不加,很可能会被识别出为爬虫。
确定自己浏览器的User-Agent信息:
步骤如下:
- 首先打开你的浏览器(本人使用的是google浏览器百度搜索引擎)输入:
about:version
- 输入后,浏览器会跳出图中的界面,蓝色标出的“用户代理”一行就是浏览器的
User-Agent
。
- 当python要浏览网页时,按图中
headers
的方法,即可获得浏览器的权限。