写爬虫的时候总结出部分反爬机制:
(1)U-A校验模式
当你在家用浏览器上网的时候,每次发送请求时请求头会自动携带浏览器参数还有系统参数给服务器。从而让服务器知道这是一个人啊!一次来作为反爬机制的一种。
(2)限制访问频率
正常人浏览网站点击速度有多少?机器访问快多了,短时间发送几百个请求。这时候服务器检测到后就可以通过设置一个速度去封IP,例如一分钟访问200次就封锁IP
(3)设置验证码
很多朋友都不明白为什么要验证码?我小时候想了这个问题很久很久,自从学了爬虫才明白,这东西真的是为了验证我是一个人在上网而生得。这种方法就让爬虫更加困难了。
(4)通过账号限制
通过登录才可以浏览网站。
以上几种是一大部分反爬机制,至于如何对这些操作进行破解,爬虫与反爬虫与反反爬虫与反反反爬虫..........的斗争是无穷无尽的。后续会慢慢写上这些反爬机制的应对方式与实际操作!