Python：常见反爬策略及应对方案汇总

最新推荐文章于 2023-12-04 11:26:18 发布

千锋python和唐唐

最新推荐文章于 2023-12-04 11:26:18 发布

阅读量874

点赞数

分类专栏： Python 文章标签： Python

本文链接：https://blog.csdn.net/chen801090/article/details/100139078

版权

本文汇总了2019年的常见反爬策略及应对方法，包括构造HTTP请求头，处理Cookie，抓取动态内容，限制爬取速度，处理隐藏域，解决验证码，避开网页陷阱，以及使用代理服务隐藏身份等。对于验证码识别，提到了OCR和专业识别平台，而针对动态内容和陷阱，推荐使用Selenium等工具。

摘要由CSDN通过智能技术生成

2019常见反爬策略及应对方案大汇总了。如果你对反爬虫的策略和手段还掌握的不很全面，进来学就对了！一切都是刚刚好，一切都不晚！

Python：常见反爬策略及应对方案汇总
1 . 构造合理的HTTP请求头。

Accept
User-Agent - 三方库fake-useragent
from fake_useragent import UserAgent
ua = UserAgent()
ua.ie
# Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US);
ua.msie
# Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)'
ua['Internet Explorer']
# Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.4; InfoPath.2; SV1; .NET CLR 3.3.69573; WOW64; en-US)
ua.opera
# Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11
ua.chrome
# Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2'
ua.google
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/537.13 (KHTML, lik