scrapy基本功能

使用scrapy需要先进入你创建的那个目录
1.使用scrapy创建项目文件
scrapy startproject simple
cd simple 进入当前目录文件
爬虫项目 指定域名url链接
scrapy genspider fengtian www.che168.com
执行运行的项目文件
scrapy crawl fengtian
2.配置文件
settings.py
extract_first() 表示当前这个对象提前第一个
scrapy crawl fengtian -O fengtian.csv 输出为csv格式
scrapy crawl fengtian -O fengtian.json --s FEED_EXPORT_ENCODING=utf-8输出为json格式
五大中间件
1.itmes.py 存储数据
2.piplines 定义的功能管道 处理
settings.py 配置文件
ITEM_PIPELINES = {
‘simple.pipelines.SimplePipeline’: 300,
}
中间件
console.v4.dailiyun.com