0x00 Scarpy的安装
scrapy最简单的安装方法:
pip install Scrapy
pip的安装方法:
https://pip.pypa.io/en/latest/installing.html
下载源代码安装
http://scrapy.org/download/
安装方法:
sudo python setup.py install
0x01 创建第一个爬虫
- 创建project
scrapy startproject myproject
- 创建spider
scrapy genspider -l
scrapy genspider [-t template] <name> <domain>
scrapy genspider -t basic myspiderbasic douban.com
- 使用spider 进行爬取
scrapy crawl myspider
- 列出所有的spider
scrapy list
- 编辑spider
scrapy edit <spider>
- 使用spider进行爬取
scrapy crawl <spider>
- 运行contract检查
scrapy check [-l] <spider>
参考:
http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/overview.html