scrapy POST发送json 数据

金字塔的旅行

于 2018-03-28 16:24:12 发布

阅读量1w

点赞数 1

分类专栏： scrapy 文章标签： scrapy json post

本文链接：https://blog.csdn.net/csdn_am/article/details/79729490

版权

2 篇文章

订阅专栏

本文介绍了在Scrapy中如何进行POST请求并发送JSON数据。通常情况下，Scrapy用于发送常规header的数据，但某些情况下，特别是需要正确响应时，必须以JSON格式发送POST数据。虽然使用requests库直接操作会更简单，但在Scrapy框架内，实现这一功能的方法略有不同。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

scrapy Post 发送数据是我们通常会用

yield scrapy.FormRequest( url = url, formdata = {"email" : "xxx", "password" : "xxxxx"}, callback = self.parse_page )

来发送请求，但这是发送header为

'Content-Type', 'application/x-www-form-urlencoded

的数据，有时候我们做一些爬虫，会post发送json数据，否则不能返回正确的结果，如果直接用request很方便，但在scrapy里就需要这样用

yield Request(url, method="POST", body=json.dumps(data), headers={'Content-Type': 'application/json'},callback=self.parse_json)

这样就可以发送json 数据了