Python爬虫：scrapy安装

本经验分享是在win10+python3.6下的情况

---

scrapy安装

Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。–《百度百科》

具体流程：

1.从python.org下载python，此处注意添加勾选add python to path的选项，将python添加到环境变量以便后续操作。还有，尤其注意，此处要留意安装的是32位还是64位的python，到后面安装不同的python模块时需要选择对应的python版本

安装完在命令行直接输入python，见到进入下图状态就表示python安装成功，并已经添加到环境变量

2.然后就是安装scrapy包，理想情况下使用指令，就可以了

pip3 install scrapy

然而，理想很美好，事实上安装的时候会遇到各种问题，遇到的自己对号入座找解决方案吧。

a.“’pip3’ 不是内部或外部命令，也不是可运行的程序”，可能是pip没安装，到“https://pypi.python.org/pypi/pip”安装就好了。不过这个情况应该比较少遇到，大多数情况下安装python的时候就已经把pip包安装好了，对应路径为”..\Python\Python36\Scripts\pip3.exe”；也可能是pip3没有添加到环境变量中，可以选择把pip3添加到环境变量，也可以选择进入到pip3所在目录运行pip相关指令

b.在安装过程中提示error或者模块twisted等import出现错误。此时多半是安装的版本不对。我直接到http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 上找出对应的模块，找自己的python版本对应的模块的whl文件下载下来。scrapy、twisted等等被报错的模块都可以找得到。
找到之后，在cmd里输入下面的命令

pip3 install wheel

然后再输入下面这个，就可以成功安装对应模块了

pip3 install (所的下载文件).whl