scrapy 创建项目流程

一.创建项目

1.先cd到项目放置的文件夹 # pycharm 或者cmd都可以
2.执行命令 scrapy startproject Novels2 # Novels2 表示项目名字
3.cd Novels2 # 进入到项目文件夹
4.scrapy genspider example example.com # example 就是爬虫的名字 example.com需要爬取的网站的域名

二.配置settings.py

1.第20行 ROBOTSTXT_OBEY = False # 默认true，需要改成 false 不遵守机器协议
2.第40-44行，取消注释，增加一个 User-Agent，请求头， DEFAULT_REQUEST_HEADERS
3.第66-68行，去掉注释，ITEM_PIPELINES

4.(可选)LOG_LEVEL = ‘ERROR’ 日志等级为 ERROR 即可 运行会产生大量日志，可以选择关闭运行日志

三.运行爬虫 scrapy crawl novels80 # novels80 爬虫名字

也可以加一个 start.py文件 # start.py 自己定义叫什么名字都可以
内容如下
from scrapy import cmdline
import logging

useragent 是自己爬虫的名字

cmdline.execute([“scrapy”,“crawl”,‘bwm3_gt’])

四.开始写爬虫 在spiders文件夹里面

最后 yield Bwm3Item(catagory=catagory,img_urls=img_urls) 时， 等于号 左边的变量名 === items.py中自己定义的字段 === piplines.py中
要取出来的字段 ；等号右边 是你在爬虫中获取到的数据的 变量名。

五.再到 items.py中设置模型

六.piplines.py 中 保存