使用scrapy爬虫遇到403错误的解决办法

最新推荐文章于 2025-02-09 10:30:00 发布

q_q马小白

最新推荐文章于 2025-02-09 10:30:00 发布

阅读量2.8k

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/qq_42984581/article/details/101124476

版权

python 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了解决Scrapy爬虫遇到403错误的方法，通过添加user-agent来避免被目标网站屏蔽，具体步骤包括从浏览器获取user-agent字符串并将其添加到爬虫的settings文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前使用scrapy爬虫遇到了403错误，参考了别人的解决办法，觉得还挺有用的。
运行代码提示错误：Ignoring response <403 http://basic.10jqka.com.cn/600004/company.html>: HTTP status code is not handled or not allowed
解决办法：
添加user-agent
1、打开开发者工具，Network-Headers页面拉倒最下面，找到User-Agent的具体内容复制下来
在这里插入图片描述
2、打开settings文件，在注释中找到USER_AGENT,把网页中复制的内容粘贴到USER_AGENT赋值号后面（注意把注释符去掉哦）
3、重新运行爬虫即可