1、先建立爬虫项目
1)进入目标目录:cd 目标目录
2)建立项目:scrapy startproject 爬虫项目名称
3)进入爬虫项目目录,cd 爬虫项目所在的文件夹
4)建立爬虫:scrapy genspider 爬虫名称 网址
具体可参考豆瓣的爬虫博文。
2、编写爬虫程序
有五个注意和修改的地方:
1)编写spider程序,我的案例是spider的test.py的文件中
2)新建一个一个去重url的类duplication.py,并需要在settings.py中导入
3)修改items.py
4)修改pipeline.py,并需要在settings.py中导入
5)编写运行爬虫的程序,我的是runspider.py
6)对应的修改settings.py:导入去重类、pipline类、设置DEPTH_LIMIT
完整的项目目录如下:
1)爬虫文件test.py的程序,如下:主要是注意跳转下一页的用法。