Scrapy搭建爬虫项目

1.输入workon命令，进入已经设置好的一个虚拟环境。
2.安装scrapy框架:pip install scrapy

3.遇到如下报错信息，进入https://www.lfd.uci.edu/~gohlke/pythonlibs/#scipy 下载Twisted库的wheel文件

4.安装Twisted

5.执行scrapy startproject 项目名称

using template director：是scrapy内置的一个框架模板

6.进入到项目文件夹中

7爬虫项目文件介绍

8.通过cmd爬虫项目
命令：scrapy crawl baidu(爬虫名称)---------运行爬虫
9.执行以上命令会报错

只需要安装pip install pypiwin32即可解决
然后再执行命令：：scrapy crawl baidu(爬虫名称)
10.由于scrapy默认不支持断点调试，手动配置断点调试

然后再该文件上面右键使用debug运行即可