Python：Scrapy框架安装、Scrapy项目构建

==== 重要事情放在前面，到18年12月4日止，亲测最稳定的python版本，3.6.4。====

一、终端下安装：pip install scrapy

1、打开cmd，先看看pip list，如果没有Twist、pywin32进行安装

pip install pywin32
pip install Twist

2、然后执行pip install scrapy

安装Scrapy，极其可能报错

3、安装过程中，Twist安装容易报错（可能不报错）

（1）安装不上，不急

如果没有出现以上错误，恭喜你

大多数出现以上错误，那么接着一步步去，尝试下载安装二进制版本的包

（2）处理Twist错误

（3）上图列表显示cp36，对应下载36 ：

https://www.lfd.uci.edu/~gohlke/pythonlibs/#Twisted?tdsourcetag=s_pcqq_aiomsg

（4）安装：要cmd定位到下载的目录

将Twisted‑18.9.0‑cp36‑cp36m‑win_amd64.whl放在一个已知地址，新打开cmd，cd定位到这个已知地址。

输入pip install Twisted‑18.9.0‑cp36‑cp36m‑win_amd64.whl

（5）再次安装scrapy

4、测试安装成功后的结果：

成功！！！！！！！

总结：

二、创建scrapy工程：

1、在目标文件夹下运行cmd，或者cmd中CD跳转到目标文件夹

运行Scrapy startproject ----项目名称----

2、Pycharm 打开这个工程

3、工程简介

三、创建爬虫文件

1、在spiders文件夹中创建爬虫文件

PyCharm 的 Terminal 中输入
scrapy genspider ----爬虫文件名---- ----抓取url----

2、创建结果

3、爬取内容检索

4、运行

PyCharm 的 Terminal 中输入
scrapy crawl ----爬虫文件名---- -o ----存储文件名----

5、报错处理

6、设置