python学习手册之Scrapy学习

第一章

本文假设是已经安装好了python了的，如果没有安装，可以在这里下载

python2.7.11

python3.1

当然，推荐取官网下载最新版。

https://www.python.org/

鄙人下载的是2.7版的32位版本。后面安装其它的包的时候一定要注意下载对应的包。

Scrapy的安装

1.安装Scrapy之前，需要安装一些其他的包。因为Scrapy的使用需要这些包的支持才行。

需要安装的包有

lxml、zope.interface、Twisted、pyOpenSSL、pywin32、Scrapy（pip install scrapy）

大家可以去https://pypi.python.org/pypi这里下载，注意版本号。

这个网址经常不稳定，国内会打不开，所以也可以去http://pypi.douban.com/simple/，里面有所有对应的包，自己找到了下载安装即可。

注意exe和msi结尾的都可以直接安装，压缩包则需要自己解压后放入 C:\Python27\Lib  这个目录下面

Scrapy采用pip install scrapy下载，在cmd窗口中输入即可。这里也可能会撞墙，怎么办呢?

pipy国内镜像目前有：

 

http://pypi.douban.com/  豆瓣

http://pypi.hustunique.com/  华中理工大学

http://pypi.sdutlinux.org/  山东理工大学

http://pypi.mirrors.ustc.edu.cn/  中国科学技术大学

 

对于pip这种在线安装的方式来说，很方便，但网络不稳定的话很要命。使用国内镜像相对好一些，

 

如果想手动指定源，可以在pip后面跟-i 来指定源，比如用豆瓣的源来安装web.py框架：

pip install web.py -i http://pypi.douban.com/simple

 

注意后面要有/simple目录！！！

 

要配制成默认的话，需要创建或修改配置文件（linux的文件在~/.pip/pip.conf，windows在%HOME%\pip\pip.ini），修改内容为：

[global]

index-url = http://pypi.douban.com/simple

 

这样在使用pip来安装时，会默认调用该镜像。

注意的是%HOME%就是C:\Users\用户名

包安装好了以后检测方法