本文介绍了Scrapy的常用命令，包括使用`scrapy --help`获取帮助信息，通过`scrapy genspider -l`查看可用的爬虫模板，利用`scrapy shell url(html)`进行网页交互，以及运用`scrapy crawl name`运行特定爬虫，如`scrapy crawl douban_movie_top250 -o douban.csv`将爬取的数据保存为CSV文件。
1、scrapy --help
查看scrapy的基本命令
2、scrapy
version -v
查看scrapy版本和各组件的信息
3、scrapy
startproject
xx
创建一个xx工程
4、scrapy
genspider name site.com 要进入工程目录下
name为文件名；site.com为要爬取的网站的域名
有两种情况：1、在工程中产生一个spider
2、在同一个工程产生多个spider，不同的spider要求name不同
scrapy genspider -l 查看爬虫模板
5、scrapy
list
查看工程中所有的spider file
6、scrapy
view url
最低0.47元/天 解锁文章
扫一扫
999
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
