Python Scrapy爬虫框架的安装和使用测试（解决 error: no moudle named Spider问题）

Scrapy 是Python中的一个爬虫框架，下面以64位 win10+python3.5为基础，进行安装Scrapy框架。

1 安装Scrapy的依赖包：1) lxml-4.2.1-cp35-cp35m-win_amd64.whl ，

•           2) pywin32‑223‑cp35‑cp35m‑win_amd64.whl , 3 )Twisted-18.4.0-cp35-cp35m-win_amd64.whl，其中2) 为3）的依赖
• 到http://www.lfd.uci.edu/~gohlke/pythonlibs/  下载所需的版本，注意版本号的对应，下载到一个文件夹下
  
• 2 依次按顺序使用 pip install 目录名\***.whl，进行安装
• 3 成功安装 whl 包后，进行安装 scrapy 使用命令 : pip install Scrapy 进行直接安装
• 4 成功后，命令行输入  scrapy 进行验证 出现下图则成功：
• 
  
• 成功安装后，进行第一个爬虫程序书写，这时候要注意一个坑，由于scrapy为一个框架，所以直接建立的项目在使用 import scrapy.Spider会直接报错，我就一直出现这个错误，错误为：
• no moudle 'Spider' 之类的。这个我原以为是我的Scrapy安装有问题，其实不是！！！！！是我的爬虫运行方式有问题，这个框架运行程序，有一定的规则，就像上图提示那样，需要在命令行使用：
• scrapy startproject 文件名（不为路径 只是个文件（项目）名称） 创建项目。然后创建过后，会发现该项目目录为下图：
• 
  
• 将项目中 【ttttt】文件夹打开后，为下图的目录 ：
• 
  
• 下面进行创建爬虫文件，这里【注意我的路径】
• 
  
• 书写程序：【注意箭头指示】
• 
  
• 运行命令：
• 
  
• 运行结果（部分）：
• 
  
• 测试结束，关于PyCharm进行编辑其实和这个道理类似，都是先创建Scrapy工程 再进行引入，就行了。也可以不用建立工程，直接使用 scrapy runspider  名字.py 进行直接做爬虫爬取。