scrapy 出现400 Bad Request 问题

最新推荐文章于 2023-07-20 10:26:49 发布
最新推荐文章于 2023-07-20 10:26:49 发布
阅读量3.3k 收藏 1
点赞数
分类专栏： 爬虫 文章标签： scrapy 400-Bad-Re
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jianmoumou233/article/details/77506736
版权

scrapy 出现400 Bad Request 问题

遇到400解决思路：
1.检查url连接，有的url最后有’/’ 有的没有，看看是不是这个原因造成。如有’/’,去掉试试,没有加上试试;
2.设置 scrapy COOKIES_ENABLED = False

jianmoumou233
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy&request_异步数据爬取_scrapy_
10-02
分别使用scrapy和request进行异步数据爬取
scrapy 状态码400问题
qq_38759383的博客
05-22 657
scrapy 状态码400问题
python3爬取出现400 Bad Request
qianyinaxia123的博客
09-10 7917
网站反爬虫机制，尝试在headers中只保留cookie和User-Agent
scrapy的post请求返回400的问题
最新发布
qq_17126839的博客
07-20 84
解决方案如图，将请求头中的Host部分和Content-Length部分去掉问题解决，继续搬砖先不深究，length应该是会自己计算的。
scrapy返回400
Caiabcd的博客
06-23 611
爬虫 返回400
python scrapy框架 POST请求报400错误
qq_38164618的博客
10-06 820
headers = { 'Content-Type': 'application/json; charset=UTF-8', # host没有https:// 'Host': 'www.sasclouds.com' } 注意Host是没有http://等请求头的
ScrapyJS Splash 400 bad request原因及解决方法
04-13 4403
如果在Scrapy中使用了ScrapyJS下载器中间件，且设置了Splash为代理时，可能会出现400 bad request错误而导致爬虫终止运行。其他有可能的一个原因是，如果使用了Splash Script，脚本的格式不对会导致此错误的出现。正确的格式如下： 需要注意的是，一定要严格按照图上的方式对齐。
scrapy post发送请求是报400响应码的问题
he_ranly的博客
01-18 1080
先说解决方法： 去掉你请求头中的 Content-Length 在scrapy的过程中发送请求的时候，你会发现特别是post请求很多时候会报400的错误，明明同样的请求在requests中能请求成功，你尝试了scrapy.Request, scrapy.http.Request, scrapy.FormRequest都还是报这个错误，于是开始怀疑scrapy是不是有问题。 是的，scrapy是有问题的，因为它在背后默默做了一些操作，不像requests那么简洁，很多时候post请求都是因为你的请...
Python爬虫之Js逆向案例(17)- Scrapy JD版店铺详情｜问答
玛卡`三少 的博客
03-04 1225
Scrapy框架Jd实战练习，效果简直666呀！快来围观！
Python3制作百度文库免费下载器
齐泽文的Blog
05-02 7619
1.笔者前几天由于想要下载百度文库的资料，但是苦于没有文库积分，所以在淘宝上购买了文库积分服务下载地址：https://wenkubao.cc/该平台通过提交账号、密码和百度文库文章地址方式获取下载地址，试了一下，不发送账号密码无法下载，于是查看源代码发现上图中有一个地址，打开可以看到下图浏览器中没有验证账号密码选项，发送数据包是也没有带上账号密码信息同时邮件中收到了下载文档这里我们就有可以操作的...
scrapy中的headers，Request，response
12-22
文章目录headersRequestresponse headers 为了让程序请求模仿的更像浏览器，需要在headers请求头上添加一些参数 headers请求头的部分重要参数： Host (主机和端口号) Connection (链接类型) ...User-Agent (浏览器名称)...
解决Mac安装scrapy失败的问题
09-20
今天小编就为大家分享一篇解决Mac安装scrapy失败的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python-scrapy安装问题详解
11-29
python，scrapy框架安装问题详解，全过程解析，多种安装方式及多平台安装方法
爬虫-猫眼电影票房
热门推荐
jianmoumou
07-07 3万+
背景 最近也不知道咋了，一直遇到 字体反爬手段，起点中文网，抖音等等吧，猫眼我一直想搞，只是没有精力了，前面搞了2个了，不差这一个。搞完这个，不在搞字体反爬了。 目标网站 猫眼票房： https://piaofang.maoyan.com/?ver=normal 就这个鬼 看源码： 这不和抖音 起点一样，窃喜.jpg 那就查找字体 的url 或者文件 。这个网页没有，好像详情页是有url的 ...
爬虫好搭档之parsel
jianmoumou
07-07 1万+
parsel 是scrapy 出品的，也是scrapy内置的选择器包含re、css、xpath选择器,依赖lxml,比起bs4好用的不要不要的。 用过scrapy，再用它，其实都是一样的，scrapy团队把它单独出来了个库，这样可以单独使用，不必使用scrapy 1. 安装: pip install parsel or easy_install parsel 2. 结合requests ...
爬虫之 爬取京东计算机书籍
jianmoumou
07-07 5308
爬取京东的计算机类书籍 1. 工具： requests, pycharm, scrapy, mongodb 2. 网页提取工具: xpath 1. 分析京东网页: 打开京东网站 查看源码发现不是动态网页，而且都是列表, 说明了很好处理；开始分析; 我们只要提取书名，书的链接， 书的出版社，书的作者，评价数，价格 I 注意一下,书的价格， 评论数,源码并没有，说明是ajax请求；...
字体文件反反爬-- 起点中文网
jianmoumou
07-07 2989
工作中遇到一个，以前没有遇到的问题是，网站把重要的数字都转换成 其他的东西 爬取网站https://book.qidian.com/info/1011454545 起点女生网 通过审查元素是这样的: 查看网页源码: 通过搜索查找,原来网站做了反扒的措施，正好前几天看个关于这样的文章，教怎样反爬的。通过搜索引擎查找相关的资料，原来有人做过类似的反反爬，猫眼，汽车之家都是这种方式. ...
爬虫好搭档之 w3lib
jianmoumou
07-07 2119
time: 2018/04/10 w3lib 是scrapy的基础插件,用来处理html,灰常的好用,清理文本带有HTML标签的数据; 官方文档 1. w3lib.encoding.html_body_declared_encoding(html_body_str) 作用是返回网页的编码,如果网页有<meta charset=utf-8>就会返回utf-8 2. w3lib...
scrapy 重写start_request
06-28
Scrapy重写start_request的方法是在Spider类中定义一个start_requests()方法，该方法返回一个可迭代的Request对象列表，每个Request对象代表一个要爬取的URL。在这个方法中可以通过yield关键字返回Request对象，也...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值