爬虫学习笔记（七）：Scrapy的使用

爬虫学习笔记（七）
Scrapy的使用

1. 创建项目

scrapy startproject name(自己定义名字) #定义项目名

2. 创建爬虫

scrapy genspider xxx(爬虫名称) 域名 #定义爬虫名

3. 运行爬虫

scrapy crawl xxx(爬虫名)

• 创建一个.py文件，在文件中从scrapy.cmdline中导入execute，写入如下：

from scrapy.cmdline import execute
# execute("scrapy crawl xxx".split())
execute(["scrapy","crawl","xxx"])

在我们写爬虫的时候都是在自己创建的文件下的xxx.py下面进行编写。
需要注意的就是name它是一定要有的。如果你的开始url不是本身定义的，删改start_url就ok啦。
以上xxx都是自己创建爬虫时的名字。