Scrapy
xiaomoxian567
这个作者很懒,什么都没留下…
展开
-
安装Scrapy报错:Microsoft Visual C++ 14.0 is require
参考:https://blog.csdn.net/u012735708/article/details/82706128问题:win10 python版本3.7.1 安装pip install scrapy中报错如下error: Microsoft Visual C++ 14.0 is required...解决:通过http://www.lfd.uci.edu/~gohlke/p...转载 2018-11-25 16:36:54 · 233 阅读 · 0 评论 -
Scrapy深度优先与广度优先算法
这个是个人纪录,如果哪里不对,还希望评论里指点,谢谢。深度优先就是:A—>B—>D—>E—>-I–>C—>F—>G—>H广度优先就是:A—>B—>C—>D—>E—>F—>G—&gt原创 2018-12-08 11:23:07 · 2088 阅读 · 0 评论 -
scrapy异步存存储mysql,但是数据库没有数据。
1.是否连接池参数名或参数是否正确。2.def __init__(self, pool): self.pool = pool 函数名是不是写成 int3.写sql时候是否出现中文括号(一开始写成中文括号,找半天问题!这一定要注意) sql = """ insert into tb_info (id, title, genre) values (%s, %s, ...原创 2018-12-08 11:11:58 · 1015 阅读 · 0 评论 -
scrapy 异步存储到mysql
为什么要用异步存储?因为scrapy下载速度会高于存储速度(个人理解,还在改善中。)from twisted.enterprise import adbapiimport pymysqlclass TwistedMysqlPipeline def __init__(self, pool): self.pool = pool @classmethod ...原创 2018-12-08 11:22:26 · 256 阅读 · 0 评论