爬虫
iGoab
这个作者很懒,什么都没留下…
展开
-
scrapy无法循环抓取
最近在学习scrapy,写好了大概的样子,但是却发现无法循环抓取,最后自己想着以前貌似有个例子说过原因。之前写的如下: name = 'dmoz' allowed_domains = ['dmoz.org'] start_urls = ['http://www.123.info/'] 修改之后如下: name = 'dmoz' allowed_domains = ['123.info'] start原创 2017-07-13 20:42:55 · 3031 阅读 · 0 评论 -
scrapy无法存入数据
当整个scrapy爬取框架搭建好后,items,pipeline都设置好了,却发现通过Pipeline无法存入文件,这时候就需要设置settings.py了在scrapy中settings中pipeline的开关是默认关闭的,需要将其注释去掉,之后就可以发挥scrapy的大刀啦。 # Configure item pipelines # See http://scrapy.readthedocs.o原创 2017-07-13 20:54:31 · 2773 阅读 · 0 评论