scrapy 新建项目 以及项目结构介绍

使用命令 scrapy 命令行 来创建项目
startproject projectName

项目结构如下图:

各个文件功能介绍

scrapy.cfg: 项目的配置文件
items.py: 这个文件就类似于 orm 你可以定义一些字段在里面,比如我们做爬虫时要取html的标题, 链接，描述信息
就可以这样定义:
import scrapy
class DmozItem(scrapy.Item):
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()

middlewares.py： 自定义的中间件,一般可以用来设置代理，加请求header
pipelines.py :当我们的scrapy 取得数据返回之后,这个在这里处理，比如存储到数据库
settings.py: 项目的配置
其中spider 目录就是以后我们的爬虫要写在那个目录下面的