常见的反爬手段与解决方法

最新推荐文章于 2023-10-09 10:03:27 发布

爱吃cat的鱼

最新推荐文章于 2023-10-09 10:03:27 发布

阅读量320

点赞数

分类专栏：爬虫文章标签：爬虫 python

本文链接：https://blog.csdn.net/weixin_42241324/article/details/96689266

版权

爬虫专栏收录该内容

5 篇文章 0 订阅

订阅专栏

通过headers字段反爬

headers中的User-Agent字段反爬
解决：随机生成User-Agent


pip install fake-useragent

from fake_useragent import UserAgent
ua = UserAgent()

for i in range(10):
	# 随机生成各种浏览器的ua
    print(ua.random)
    # 随机生成chorm的ua
	# print(ua.chorme)

通过referer字段反爬
解决：加上该字段
通过cookie字段反爬
cookie:记录用户登录的凭证
解决：
若目标网站不需登录，每次请求携带上一次的cookie即可，使用requests模块的session发起请求
若目标网站需要登录，使用cookie池。
scrapy框架本身自动传递cookie。在start_requests中yied请求时，传入cookie参数。
我们可以在下载器中间件process_requests方法中设置cookie，从cookies池中读取。