- 安装scrapy
pip install scrapy
安装完成 scrapy 提供一整套 scrapy 命令
若pip安装失败,可到http://www.lfd.uci.edu/~gohlke/pythonlibs/网站找对应的twisted和scrapy的whl包进行下载
通过下面命令进行安装,先装twisted,再装scrapy
pip install xxx.whl
- 使用 scrapy 命令行创建项目
scrapy startproject 项目名称
- 创建爬虫
cd 项目目录
scrapy genspider 爬虫名称 域名
如果需要使用crawlspider 等模板
scrapy genspider -t 模板名 爬虫文件名 域名
-
编写代码
4.1 编写模型代码
4.2 编写爬虫代码
4.3 编写管道代码 -
运行爬虫
注意:必须在工程目录下
scrapy crawl 爬虫名称
若运行时报错:no module named win32api,执行下面代码
pip install pypiwin32