本机环境:win7 64位 Python3.6 Scrapy1.5
环境看了,接下来看一下我们要实现的需求,我们还是爬取Scrapy中文网实验室的内容,也就是这么个网址里面的东东:http://lab.scrapyd.cn,这里的话请诸君可能要问了,怎么又是这个网址,之所以这样,是因为这个网址是我们专门维护的,那就能避免因沧海桑田打不开网址、让你的爬虫实验无法完成的问题,最终也能让你快速掌握scrapy数据存入MySQL的原理。好了,来看我们的需求:
好了就这么个需求,也就是把整个lab.scrapyd.cn的内容都拿下,这里的话其实也就是scrapy爬取下一页的内容,若不清楚,请参看文档:《scrapy下一页(多页)爬取》,很简单,接下来我们一步、一步来!
一、创建蜘蛛项目
1:scrapy startproject scrapyMysql
二、编写要存入数据库的字段item
进入scrapyMysql/scrapyMysql目录下,打开:items.py,编写相应的items,item其实就是对应着我们的字段,这里我们只存两个字段:名言、标签,因此这里我们就添加两个item,代码如下