scrapy 中如何爬取json数据,并解决加载慢的问题
最近重新学了边scrapy框架的使用,但是json数据的网址响应很慢,不知道大家有没有这个问题。下面我分享一下,我的经历和如何解决响应的问题。
第一步解决响应的问题:
大家有没有出现向我这样的问题呢,如果有的话,那么有一个简单的方法去解决
首先打开settings设置,然后找到这个:
# Obey robots.txt rules
#ROBOTSTXT_OBEY = True
把它注释掉就能解决啦,是不是很简单。
最后分享一下,我是如何处理json数据的,不过我的方法比较简单,具体的参考大佬们的写法吧。
原创
2020-07-06 08:47:54 ·
1312 阅读 ·
0 评论