【scrapy】scrapy常用命令

scrapy常用命令

好久没写爬虫了，上一次写爬虫，还是2年前了，最近复习下。

创建项目

startproject 用于创建项目的命令

scrapy startproject myproject [project_dir]

这将在project_dir 目录下创建一个Scrapy项目。 如果未指定project_dir ，则project_dir将与myproject相同。

接下来，进入新项目目录：

cd project_dir

这句话的意思是,如果有project_dir, 那么项目路径就是.\project_dir\myproject , 如果没有，项目路径就是.\myproject 。

创建爬虫

genspider 用于创建爬虫的命令

scrapy genspider mydomain mydomain.com

mydomain 是spider的文件名
mydomain.com 这个是爬虫指定的域名

开始爬取（爬虫）

crawl说白了这个命令就是执行爬虫

scrapy crawl myspider

runspider

无需创建项目即可运行包含在Python文件中的spider程序。

scrapy runspider myspider.py

总结

这些都是比较常用的命令，先记录这些，后续再补充