scrapy 在pycharm中调试 不用到命令行中启动爬虫方法

（目录结构如上图）

在主目录中加入main.py，在其中加入代码，运行此文件就可以运行整个爬虫：

# -*- coding: utf-8 -*-
__author__='pasaulis'
#在程序中运行命令行，方法调试，如：在jobbole.py中打个断点，运行就会停在那

from scrapy.cmdline import execute
import sys
import os

#获取到当前目录：E:\a\scrapy_test\Aticle，方便后面cmd命令运行不必去找目录
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
#测试目录获取是否正确
# print(os.path.dirname(os.path.abspath(__file__)))

#调用命令运行爬虫
execute(["scrapy","crawl","jobbole"])

 

转载于:https://www.cnblogs.com/chenxi188/p/10844844.html