一.python 反爬虫

一.爬虫比例：

二.爬虫头信息

浏览器header信息：
Accept 浏览器可接受的MIME类型 ,设定某种扩展名的文件，浏览器会自动使用指定应用程序来打开
Accept-Charset 浏览器支持的字符编码 
Accept-Encoding 浏览器知道如何解码的数据编码类型(如 gzip)。Servlets 可以预先检查浏览器是否支持gzip并可以对支持gzip的浏览器返回gzipped的Html页面，并设置Content-Encoding回应头(response header)来指出发送的内容是已经gzipped的。在大多数情况下，这样做可以加快网页下载的速度。 
Accept-Language 浏览器指定的语言，当Server支持多语种时起作用。 
Authorization 认证信息，一般是对服务器发出的WWW-Authenticate头的回应。 
Connection 是否使用持续连接。假如servlet发现这个字段的值是Keep-Alive，或者由发出请求的命令行发现浏览器支持 HTTP 1.1 (持续连接是它的默认选项)，使用持续连接可以使保护很多小文件的页面的下载时间减少。 
Content-Length (使用POST方法提交时，传递数据的字节数) 
Cookie (很重要的一个Header，用来进行和Cookie有关的操作，具体的信息将在后面的教程中介绍) 
Host (主机和端口) 
Referer (URL) 
User-Agent (客户端的类型，一般用来区分不同的浏览器) 

三.爬虫代理

代理ip
代理（英语：Proxy），也称网络代理，是一种特殊的网络服务，允许一个网络终端（一般为客户端）通过这个服务与另一个网络终端（一般为服务器）进行非直接的连接。一些网关、路由器等网络设备具备网络代理功能。一般认为代理服务有利于保障网络终端的隐私或安全，防止攻击。形象的说：它是网络信息的中转站。代理服务器就好象一个大的Cache，这样就能显著提高浏览速度和效率。更重要的是：Proxy Server（代理服务器）是Internet链路级网关所提供的一种重要的安全功能。
主要的功能有：
突破自身IP访问限制，访问国外站点。教育网、过去的169网等网络用户可以通过代理访问国外网站。
访问一些单位或团体内部资源，如某大学FTP（前提是该代理地址在该资源的允许访问范围之内），使用教育网内地址段免费代理服务器，就可以用于对教育网开放的各类FTP下载上传，以及各类资料查询共享等服务。
突破中国电信的IP封锁：中国电信用户有很多网站是被限制访问的，这种限制是人为的，不同Serve对地址的封锁是不同的。所以不能访问时可以换一个国外的代理服务器试试。
提高访问速度：通常代理服务器都设置一个较大的硬盘缓冲区，当有外界的信息通过时，同时也将其保存到缓冲区中，当其他用户再访问相同的信息时，则直接由缓冲区中取出信息，传给用户，以提高访问速度。
隐藏真实IP：上网者也可以通过这种方法隐藏自己的IP，免受攻击。
鉴于上述原因，代理服务器大多被用来连接INTERNET都是独立的大型（国际互联网）和（局域网）。在国内，所谓中国多媒体公众信息网和教育网都是独立的大型国家级局域网，是与国际互联网隔绝的。出于各种需要，某些集团或个人在两网之间开设了代理服务器，如果我们知道这些代理服务器的地址，就可以利用它到达国外网站。

四.反爬虫

爬虫：使用任何技术手段，批量获取网站信息的一种方式。关键在于快速批量。
反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。关键也在于批量。
误伤：在反爬虫的过程中，错误的将普通用户识别为爬虫。误伤率高的反爬虫策略，效果再好也不能用。
拦截：成功地阻止爬虫访问。这里会有拦截率的概念。通常来说，拦截率越高的反爬虫策略，误伤的可能性就越高。因此需要做个权衡。
资源：机器成本与人力成本的总和。

五.战争