鱼c笔记——Python爬虫之Windows安装Scrapy

Scrapy没有推出Python3.3的版本，所以可以取Python2.7的版本替代

Python各个版本之间是独立存在的，因此不必担心不同版本之间会产生冲突。

不过现在好像可以支持Python3.x了：http://bbs.fishc.com/thread-73916-1-1.html

http://bbs.fishc.com/forum.php?mod=viewthread&tid=102446&highlight=scrapy

http://bbs.fishc.com/forum.php?mod=viewthread&tid=84202&highlight=scrapy

安装Scrapy需要的软件及步骤：（拖到最后好像有其他的声音）

①先打开Python-2.7.9.msi，一路next

②打开‘’运行‘’，输入cmd。执行以下命令，设置环境变量：

-C:\Python27\python.exe

 C:\Python27\tools\Scripts\win_add2path.py

③重新打开cmd，输入命令“python --version”

--如果有显示Python2.7.9则说明成功

--如果没有，重启一下试试

④安装pywin32（32位版本）  #提供一个像VC一样的IDE

⑤安装pip（在下载的Python2.7.9中其实已经有了--在Python27的Scripts文件下，已经有的话不用管这一步，但是有的没，要自己装）

a)下载get-pip.py

b)进入cmd，执行：python get-pip.py

c)检查Python27\Scripts中是否有pip.exe并设置Python27\Scripts到环境变量中

d)重启cmd，输入命令“pip --version”

如果有显示版本号则说明成功

如果没有，重启试试

PS.如果用户的名字有中文，执行python get-pip.py可能会报出编码错误。

解决方法：在Python27的Lib的site-packages文件夹下，新建一个sitecumtomize.py（文件名随意）文件，里面编写设置默认编码：

import sys
sys.setdefaultencoding('gd2312')

⑥安装lxml

直接cmd里输入pip install lxml安装会报错。

所以不建议使用pip安装。

使用lxml专门为Windows提供的安装包安装。

⑦安装OpenSSL（除了Windows其他系统都有默认安装）：

可以直接pip install pyOpenSSL

如果显示缺少VC++的东西，要自行下载

⑧安装Scrapy

直接pip install Scrapy

在cmd里键入Scrapy看有没有错误

如果缺少什么模块，可以直接pip+模块名下载

再说一个在弹幕上看到的方法：