创建scrapy项目

1. windows+r打开cmd命令行工具，cd Desktop进入到桌面目录

2. 输入创建项目命令 scrapy startproject 项目名

3. cd 到 项目目录下  cd项目名

4. 执行创建爬虫的命令 scrapy genspider 爬虫名 爬虫起始网址

 

5. 使用pycharm打开项目，查看项目目录结构

 

 

6. 启动爬虫，找到pycharm自带的命令行工具

 

输入启动爬虫命令 scrapy crawl 爬虫名(例如：jobs),回车即可

PS：可以使用另外一种方式以debug模式启动爬虫，可以断点调试

6.1 新建一个py文件，例如debug.py,在该文件中写入以下代码，右键debug运行即可使用断点调试

 

6.2修改robots协议