Scrapy 抓取返回数据格式为JSON的网站内容

最新推荐文章于 2024-08-24 17:05:21 发布

这个有可能是真纯

最新推荐文章于 2024-08-24 17:05:21 发布

阅读量996

点赞数

本文链接：https://blog.csdn.net/qq_43668086/article/details/87906049

版权

本文介绍如何在Scrapy中处理返回数据为JSON格式的网站内容，包括修改parse函数和处理unicode编码数据的方法。

摘要由CSDN通过智能技术生成

分享一下我老师大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到我们人工智能的队伍中来！https://blog.csdn.net/jiangjunshow

有些网站的数据是通过ajax请求获取的，或者提供了json格式的api。

比如对于如下的数据：

{        {            "url": "http://www.techbrood.com/news/1",            "author": "iefreer",            "title": "techbrood Co. test 1"        },        {            "url": "http://www.techbrood.com/news/2",            "author