在linux或者mac os下安装Scrapy只要pip intall Scrapy命令就行了,而在windows下安装比较麻烦,而且会遇到很多问题
1.安装python
下载安装包
在官网直接点下载按钮默认会下载32位的python,所以选择安装的时候要根据自己是64位系统还是32位系统选择对应的python
windows各个版本python下载链接
- 我这里是64位操作系统,所以选择python2.7.13版本的64位版
安装
选择install just for me(只安装给当前用户,若选择安装给所有用户,可能以后安装其他python插件的时候会出现下面问题Python version 2.7 required, which was not found in the registry,解决办法看我另一篇文章http://blog.csdn.net/u011471286/article/details/53888694)
接下来一路next到底,最后finish就行了,当然你可以再设计下python的安装目录,默认是设置在c盘根目录的
配置环境变量
运行脚本配置
如下图所示,一开始在dos命令窗口下输入python,显示python不是内部或外部命令
接着输入如下命令,前面是python.exe为位置,后面是脚本位置(看清楚自己电脑具体是什么目录),这样就添加了环境变量(只针对当前用户)
c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py
这个时候环境变量还没生效,输入python还是显示不是内部或外部命令
需要退出dos命令窗口,然后打开系统环境变量配置界面,发现已经有了之前脚本配置的只正对当前用户的环境变量,一次点击下图两个确认按钮退出配置环境变量界面
这个时候环境变量已经生效,打开dos命令窗口,输入python命令之后如下图所示进入python命令行,同时显示了python版本
手动配置
手动配置就是打开上面显示的环境变量配置界面,新建一个针对本用户的环境变量,变量名为PATH,变量值为c:\python27;c:\python27\Scripts,他是python的安装目录和python中Scripts文件夹的目录,以分号隔开(这两个文件夹下是一些可执行文件,当你在dos命令窗口输入命令非系统命令是,系统就会在path设置的目录下找是否有该命令的可执行文件)
设置完确定退出。如果设置过程中dos命令窗口开着,记得重启下dos命令窗口,然后输入pyton命令就可以了
安装pywin32
下载
下载地址 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
我这里下载的是python27 的64位版本,大家可以根据自己系统选择对应版本
安装
一直下一步就行了,如果出现找不到python目录的错误,那应该是之前安装python的时候选择了给所有用户安装导致注册表没有信息,解决方法参考我另一篇博文
安装pip
如果你的python2版本>=2.7.9或者python3版本>=3.4,那么已经自带pip了,不需要再安装了
如果不是,按照下面链接安装
https://pip.pypa.io/en/latest/installing/
安装scrapy
在dos命令行下输入pip install Scrapy
安装问题:Microsoft Visual C== 9.0 is required
在下面链接下载安装Microsoft Visual C++ Compiler for Python 2.7,然后再次运行pip install Scrapy命令即可
http://aka.ms/vcpython27
安装问题:Cannot open include file:’libxml/xpath.h’
安装lxml库时出现这个问题,需要单独安装下这个库
首先下载对应的whl文件
我这里选择了python27 64位版本,(根据自己的python版本,操作系统版本进行选择)
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
如果没有安装wheel,使用pip install wheel命令吧wheel先安装上
然后cd 到whl文件的下载目录,执行pip install 文件名,这样就单独安装好了lxml库
安装问题 *.whl is not a supported wheel on this plat form
出现这个问题是因为你下载的whl版本和python版本不匹配,在dos命令窗口输入python查看python是32位还是64位,然后下载对应的whl文件再安装
在重新执行pip install Scrapy命令就能成功安装了
在dos窗口输入scrapy命令进行测试