scrapy安装及命令

scrapy官网

scrapy的安装

scrapy的底层依赖于lxml，twisted，openssl，涉及到系统C库，所以有可能会导致安装失败。

pip3 install scrapy
apt install python3-scrapy

scrapy命令

• 创建项目

scrapy startproject qianmu

• 生成spider文件
  注意：爬虫名不能和项目名一样

# scrapy genspider [爬虫名字] [目标网站域名]
scrapy genspider unames qianmu.iguye.com

运行爬虫

# 运行名为usnames的爬虫
scrapy crawl unames
# 将爬到的数据导出为json文件
scrapy crawl uname -o unames.json
# 导出为csv文件
scrapy crawl unames -o unames.json -t csv
# 单独运行爬虫文件
scrapy rundpider unames.py