Scrapy安装和测试小问题

安装指南

如果想通过pip安装，Windows需要先安装pip，然后在命令行中：

<span style="font-size:14px;">pip install Scrapy</span>

一般来讲会直接安装成功，但是安装过程中还是遇到了一些小bug：

1、Failed building wheel for lxml(或twisted)，

尝试用pip安装lxml时出现，结果提示如上，提示没有安装libxml12和libxslt,那就先手动去安装lmxl好了

链接,最方便的方法是在这个网站直接下载相应的whl安装包,用pip安装 http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

2、提示找不到visual c++ 9.0，决定强行插入响应的版本号，编译的py文件在这个目录中C:\Python27\Lib\distutils\msvc9compiler.py

打开该文件，找到：

productdir = Reg.get_value(r"%s\Setup\VC" % vsbase, "productdir")

将该行注释掉，改为目前电脑中vcvarsall.bat的位置，我电脑中是2013版，位置在C:\Program Files (x86)\Microsoft Visual Studio 12.0\VC

改完后再次执行安装成功

pip install scrapy

测试：官方doc自带测试程序

根据例子中创建工程的步骤，创建完工程后运行爬虫(win7 64)，遇到的问题有：

1、no module named win32api scrapy

从此处根据Python版本和windows版本下载响应的whl文件，并执行pip install *.whl命令

2、Unhandled error in Deferred [twisted]  CRITICAL scrapy

是上一步安装pywin32.whl后没有运行如下代码：

python.exe Scripts\pywin32_postinstall.py -install