Window环境下安装基于Python的Scrapy网络爬虫框架

摘要

Window环境下安装Scrapy框架的过程及一些错误的解决。

具体环境：Windows 8.1 +Python 2.7

我是用Python自带的pip安装的，没有分散下载Scrapy需要的库。

1. 确保自己安装了好了pip。这个一般在安装了Python 2.6以上的版本就会内置了。
2. 直接执行

pip install Scrapy

遇到了缺少Microsoft Visual C++ Compiler for Python 2.7的问题。去微软官网
下载安装就好了。
3. 再次执行

pip install Scrapy

竟然出了一个UnicodeDecodeErro错误！我再之前的一片文章上也遇到这个问题。当时一脸懵逼。认真看了下报错信息，发现是传入的参数有中文，而具体执行的Python文件中是没有支持中文编码的。于是，照着前一次的经验，我按照报错信息找到了Python下的具体文件–Python27\Lib\site-packages\setuptools\msvc.py,在文件开始的地方加入默认编码设置代码。

if sys.getdefaultencoding()!='gbk':
    reload(sys)
    sys.setdefaultencoding('gbk')
    default_encoding=sys.getdefaultencoding()

同一种错误，但是出处不同。这样解决Python错误解码的一个技能Get！

4 但是安装之后还是报错。

主要是缺少了libxml2这个库！其实这个在前面的报错信息就有写，之前没有注意到。

其实是这个错误Error：‘xslt-config’不是内部或外部命令，也不是可运行的程序。随后去下载lxml的安装包才解决。

5 解决

---

自己花了一个上午才搞定，其中过程中最烦人的是libxml2的安装。国外的镜像特别慢，让人十分心烦。
刚开始写博客，作为自己简单的学习笔记。可能写的不好，但希望能帮到你。