学习Scrapy到现在也有一周了(12.19-12.25),整体感觉没有之前学习非框架类爬虫那么好上手。其中,最主要的问题是:网络上适用于win7+python3.6+scrapy1.4的爬虫程序,大多都不能正确的运行,因此,无法从已有的工程源代码中去上手Scrapy这个框架。
我把百度搜索“scrapy爬取图片”关键词,弹出的前十个页面都浏览完了,也就是100个网页。其中,能正常运行的,也就7个左右,非常的蛋疼。很多教程都是针对Python2、或者爬取的目标网站html已经更改了,因此,这样的代码没有太大的参考意义。
我想到了,看成体系的参考书,也许是一个不错的学习路径。