1、原因 如果用爬虫直接去请求某些网页,它会查看请求的对象是不是浏览器,如果没有浏览器信息就会禁止爬虫的访问,这个时候我们就要给爬虫加一个headers,加一个浏览器的user-agent信息。这样我们就可以正常访问了。 2、方法 如果有的伙伴不知道怎么得到User-Agent,可以打开浏览器的审查元素(网页任意位置右击或者F12),刷新一下(F5),找到network,随便点击一个链接,再点击Request Headers,就可以看到User-Agent的信息了。