scrapy的安装
scrapy的底层依赖于lxml,twisted,openssl,涉及到系统C库,所以有可能会导致安装失败。
pip3 install scrapy
apt install python3-scrapy
scrapy命令
- 创建项目
scrapy startproject qianmu
- 生成spider文件
注意:爬虫名不能和项目名一样
# scrapy genspider [爬虫名字] [目标网站域名]
scrapy genspider unames qianmu.iguye.com
运行爬虫
# 运行名为usnames的爬虫
scrapy crawl unames
# 将爬到的数据导出为json文件
scrapy crawl uname -o unames.json
# 导出为csv文件
scrapy crawl unames -o unames.json -t csv
# 单独运行爬虫文件
scrapy rundpider unames.py