Scrapy实战：使用IDE工具运行爬虫

一般我们运行爬虫程序都是使用命令行，比如：scrapy crwal sobook。不过这多少有些不方便，可以使用下面的方法使用IDE的方式运行爬虫

我这边使用的是pycharm软件，在pycharm里运行这个文件就相当于使用命令行运行爬虫了。

#!/usr/bin/env python
#-*- coding: utf-8 -*-

# 注意这个文件在项目的根目录，也就是scrapy.cfg文件所在
# 这里的sobook就是爬虫的名字
# 在pycharm里运行这个文件就相当于使用命令行运行爬虫了

from scrapy.cmdline import execute
execute(['scrapy', 'crawl', 'sobook'])

 

转载于:https://www.cnblogs.com/sanduzxcvbnm/p/10307399.html