- 博客(9)
- 收藏
- 关注
原创 2021-04-28
scrapy做项目的时候遇到的坑,终于找到原因了相信很多做爬虫的小伙伴在使用scrapy的过程中都会遇到和我最近遇到的问题一样,有时候会正常输出自己要的数据,而偶尔的话则会出现只打印日志的情况,一条数据都没有,草草的就结束爬取了,这个是网站出现的一个bug,这个时候一定不能着急,可能是因为你爬取比较频繁的原因,解决办法就是等个一两个小时,重新执行程序,就会恢复正常了,完美解决。文末大家探讨一下通过selenium和pyquery结合获取到json类型的数据,再进行解析需要如何解析
2021-04-28 14:13:00 104
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人