在目标目录按住shift 点击鼠标右键打开控制面板
创建项目:
scrapy startproject 项目名称
创建 spider,首先进入项目名称文件夹下spider,输入
scrapy genspider 名称 目标域名
2.编写scrapy 爬虫项目
编写items.py
这里是我们想要采集的数据字段
spiders下的 名称 .py 文件
这里是我们写爬虫的主要实现逻辑
编写pipelines.py文件
这里是管道文件,就是我们采集到的数据通过yield信号,传递到这里,进行后续操作,比如存入数据库,写文件…
打开settings.py 文件更改配置
启用管道文件(切记)
开启权限,和屏蔽提醒
有设置请求头和代理(开启)
线程数
(写了中间件就要开启set里)
启动scrapy文件