scrapy
蔡不蔡
聪明人总是雇用比他更聪明的人。
展开
-
scrapy pymysql TypeError: ‘NoneType‘ object is not subscriptable
错误提示:TypeError: ‘NoneType’ object is not subscriptable由于多个下载管道优先级的原因导致一个scrapy项目写了很多爬虫,把当前爬虫的管道优先级设置成最高即可。原创 2020-08-30 23:17:19 · 725 阅读 · 0 评论 -
scrapy调试正常,输出为空的原因。。
scrapy调试正常执行爬虫,打印的时候为空这是为什么呢,,,1.源代码里是h22.xpath里也是h2,并且调试也能正常抓取到,为啥执行为空。。3.细心的朋友已经发现了吧,抓取后的数据已经从h2变成了h3.。。。。。。。4.把h2改成h3,正常抓取。。第一次遇到这种情况,记录一下。。...原创 2020-08-30 17:58:34 · 1409 阅读 · 0 评论 -
scrapy TypeError: Request url must be str or unicode, got Selector:
运行时报错:TypeError: Request url must be str or unicode, got Selector:类型错误:请求url必须是str或unicode,获取选择器:先打印类型看一下,发现是.Selector解决办法:写xpath的时候,加上.extract()即可提取为字符串再来看一下输出类型重新运行,正常...原创 2020-06-02 22:28:43 · 6276 阅读 · 2 评论