Pycharm下调试Python的Scrapy爬虫框架程序

1、准备工作

Anaconda：https://www.anaconda.com/download/

Scrapy的官方文档：https://docs.scrapy.org/en/latest/

PyCharm工具：http://www.jetbrains.com/pycharm/download/#section=windows

注意版本统一，我的上述工具全部使用Python3.x的版本，Scrapy库在Anaconda管理器中安装即可。

2、创建scrapy工程

首先打开cmd命令窗口，切换目录到需要创建工程的目录下，如我的工程目录在E:\CodePython ，则进入进入该目录下。

打开scrapy的官方文档教程https://docs.scrapy.org/en/latest/intro/tutorial.html，详细操作参考教程。

3、PyCharm打开创建的工程

打开后，右键工程目录，在与scrapy.cfg同级目录创建一个main.py文件，在文件中输入如下代码。

from scrapy import cmdline

cmdline.execute("scrapy crawl quotes".split())

点击菜单栏的run ，选择Edit Configurations，修改一下配置。

4、运行调试

选中main.py后运行该文件，爬虫即可正常断点调试运行了。