python+Scrapy爬虫编程环境配置的资料整理

windows环境下配置pip时有冲突

问自己的问题：

是什么造成了不同版本之间的冲突

python是什么

scrapy是什么

python+pip的安装

软件：python链接：http://pan.baidu.com/s/1pKA7U7x 密码：hw11

pip1.5.6连接：链接：http://pan.baidu.com/s/1eS9eBXg 密码：x3d3

系统：window10

1.python直接打开软件一路next安装完成

此时一次性可以把python和其下的Scripts目录添加进系统变量。

2.pip安装包解压后打开cmd，cd进入安装包所在位置，输入

python setup.py install

进行安装

出现以下信息表示安装完成

输入pip检验是否安装成果，不成功的话会提示‘pip’不是内部命令

scrapy的安装：

输入pip install Scrapy 开始安装

出现如下错误：

进入python shell 输入import scrapy出现如下错误

提示说明没有安装six

由于装好了pip，输入pip install six成功安装了

再试一遍scrapy，提示没有安装twisted

于是输入pip install twisted，再次出错，于是需要知道vcvarsall.bat为什么会找不到

搜索了整个电脑都没找到这个文件，说明我需要重新下载yi'g

查到如下资料：

scrapy的依赖环境：

目前稳定使用scrapy的依赖环境如下： 
pip install Twisted==14.0.2 
w3lib==1.11.0 
queuelib==1.2.2 
lxml==3.3.0 
pyOpenSSL==0.12