python中两种反爬机制

第一种  robots协议

  1、什么是robots协议?

          一个纯文本、协定了什么数据可以爬和不可以爬

总结：防君子不防小人

查看方法:打开浏览器输入:www.baidu.com/robots.txt

2、request基础

request:爬虫中一个基于网络请求的模块

作用:模拟浏览器发起请求

编码流程

(1)指定URL

(2)发起请求

(3)获取响应数据

(4) 持久化存储

3、什么是user-agent？

     请求载体的身份标识

注：请求载体

浏览器：浏览器的身份标识是统一固定

爬虫程序：身份标识各不相同

 

第二种  UA检测

1、什么是UA检测？

           网站后台会检测请求对应的user-agent，判别请求是否为异常请求

2、反爬策略-UA伪装

 伪装流程:从抓包工具中捕获到某一个基于浏览器请求的user-agent的值，将其伪装作用到一个字典当中，将该字典作用请求方法                 通过get或post的headers参数中即可。

3、什么叫动态加载的数据？

          通过request模块进行数据爬取无法每次都实现即见即可得

注：可打开filter局部搜索来测试，搜索不到页面数据但在所用中可以查询得到

        有些数据是通过非浏览器加载的数据，而是通过其他请求的数据，那么通过这些请求的得到的数据就是动态加载的数据

思考：

基于抓包工具进行的全局搜索不一定是可以每次都能定位到动态加载的数据的数据包是为什么？

原因:动态加载的数据可能是通过加密的密文数据