python网络爬虫--浏览器伪装

一.爬虫前言

        在我们爬取一些网页的时候可能会失败，因为这写网站为了防止恶意爬虫的访问，会设置一些爬虫机制，常见的爬虫机有：

（1）通过分析用户请求的Headers信息进行反爬虫

（2）通过检测用户行为进行爬虫，比如通过判断同一个IP在短时间内是否频繁地访问一个网站

（3）通过动态页面增加爬虫的难度，达到反爬虫的目的

第一中反爬虫机制可以通过设置好用户的Headers信息还实现浏览器的伪装，第二种反爬虫的网站可以通过使用代理服务器并经常切换代理服务器的方式解决，第三种可以通过一些工具软件实现，这里我们主要介绍第一种

二.头信息的常见字段

        但网络通过浏览器访问网站时，会向服务器发送一些Headers头信息，然后服务器根据用户的请求头信息生成一个网页内容，病将其返回给浏览器，所以服务器接受到这些头信息后可以根据头信息分析出该访问是不是爬虫

以下是Headers信息中常见的字段：

        1.Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8

• Accept 字段主要表示浏览器能够支持的内容类型有哪些
• text/html 表示HTML文档
• application/xhtml+xml 表示XHTML文档
• application/xml 表示XML文档
• q 代表权重系数，指介于0~9之间

所以这一行字段信息表示浏览器可以支持text/htm