爬虫是模拟人的浏览访问行为,进行数据的批量抓取,当抓取的数据量逐渐增大时,会给被访问的服务器造成很大的压力,甚至有可能崩溃。换句话说就是,服务器是不喜欢有人抓取自己的数据的,那么,网站方面就会这队这些爬虫者采取一些反爬策略。
服务器识别爬虫的一种方式是通过检查连接的User-Agent来识别到底是浏览器访问还是代码访问的。如果是代码访问的,当访问量增大时,服务器其就会直接封掉来访IP。
在进行访问时,我们在开发者环境下不仅可以找到URL、Form Data,还可以在Request Headers中构造浏览器的请求头,封装自己。服务器识别浏览器访问的方法就是判断ketwor是否为Request是否为Request Headers下的User-Agent。因此,我们只需要构造这个请求头的参数,创建请求头部信息。
至此,很多读者会认为修改User-Agent很简单,但是正常人1秒钟看一张图,而爬虫1秒钟可以抓取好多张图,比如1秒钟抓取上百张图,那么服务器的牙利必然会增大。也就是说,在一个IP下批量访问、下载图片,这种行为不符合正常人类的行为,肯定要被封掉IPP。其原理也很简单,就是统计每个IP的访问频率,该频率超过阈值就会返回一个验证码,如果真的是用户在进行访问,用户就会填写验证码,然后继续访问,如果是代码在进行访问,就会被封掉IP。
解决以上问题有两种方法,第一种方法就是常用的增设延时,每3秒钟抓取一次,但是,我们写爬虫的目的是为了高效批量抓取数据,这里设置3秒钟抓取一次,效率未免太低。其实,还有一种更重要的解决方法,那就是本质上解决问题。
不管如何访问,服务器的目的就是查出那些为代码访问,然后封掉IP,为了避免被封掉IP,在数据采集时经常使用代理,当然,requests也有相应的proxies属性。
首先护肩自己的代理IP池,将其以字典的形式赋值给proxies,然后传输给requests。
数据存储一般发生在获取到网页的HTML或数据之后,未经过清洗和组织的数据是必须要保存的资料。保存好这些资料后,再写清洗和组织数据的脚本,将数据提取出来重新存入数据库或数据表中。
04-18
1654
![](https://csdnimg.cn/release/blogv2/dist/pc/img/readCountWhite.png)