7.20 如何在pycharm 中运行scrapy项目

在Pycharm中运行Scrapy爬虫项目的基本操作
目标在Win7上建立一个Scrapy爬虫项目，以及对其进行基本操作。运行环境：电脑上已经安装了python(环境变量path已经设置好)，以及scrapy模块，IDE为Pycharm 。操作如下：
　　一、建立Scrapy模板。进入自己的工作目录，shift + 鼠标右键进入命令行模式，在命令行模式下，

输入scrapy startproject 项目名 ,如下：

看到以上的代码说明项目已经在工作目录中建好了。

二、在Pycharm中scrapy的导入。在Pycharm中打开工作目录中的Demo，点击File-> Settings->Project: TestDemo->Project Interpreter。
1，选择红框中右边的下拉菜单点击Show All,
2.点击右上角加号，
3.在红色框体内找到电脑里已经安装的python，比如我的是
C:\Users\Administrator\AppData\Local\Programs\Python\Python36-32\python.exe , 导入即可。

之后，pycharm会自动导入你已经在电脑上安装的scrapy等模块。如图，即红色框体中显示的。

法二：可以直接在命令行窗口安装用pip install 安装
需要下载的模块有：
1.pyOpenSSL:python 用于支持SSL（security socket Layer）的包 直接pip install 即可
2.lxml:一个处理xml,HTML文档的库 安装： pip install lxml
3:pywin32: pip install pywin32
4.Twisted 库：最重要
1.进入http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ，下载对应的版本

在命令行执行pip install Twisted‑xxx‑cpxx‑cpxxm‑win_amdxx.whl即可
在自己的c盘下user-> dell->下载下面就有下载的Twisted

三、Pycharm中scrapy的运行设置。

法一：Scrapy爬虫的运行需要到命令行下运行，在pychram中左下角有个Terminal,点开就可以在Pycharm下进入命令行，默认是在项目目录下的，要运行项目，需要进入下一层目录，使用cd TestDemo 进入下一层目录，然后用scrapy crawl 爬虫名 ， 即可运行爬虫。
如图：

法二：在TestDemoSpider目录和scrapy.cfg同级目录下面，新建一个entrypoint.py文件,如图：

enterpoint.py:
from scrapy import cmdline
cmdline.execute(['scrapy ',‘crawl’,‘爬虫名’])
只需把红色框体内的内容改成相应的爬虫的名字就可以在不同的爬虫项目中使用了，直接运行该文件就能使得Scrapy爬虫运行
Tips:在创建爬虫时使用模板更加方便一些，如：
scrapy genspider [-t template] 即：scrapy genspider testDemoSpider baidu.com