-
创建Scrapy项目
1、在终端使用“scrapy startproject”命令创建一个Scrapy项目
格式为:scrapy startproject+项目名称
2、进入项目,使用“scrapy genspider”命令创建一个爬虫
格式为:scrapy genspider+爬虫名+网站域名
-
scrapy项目结构
items.py:负责数据模型的建立,类似于实体类。
middlewares.py:自己定义的中间件。
pipelines.py:负责对spider返回数据的处理。
settings.py:负责对整个爬虫的配置。
spiders目录:负责存放继承自scrapy的爬虫类。
scrapy.cfg:scrapy基础配置