ubuntu下安装scrapy

今天一下午都在安装scrapy，虽然网上也有很多的安装方法，但是安装完之后还是会出现一些问题，大概说一下

主要参考的是下面的这边文章，他已经说的很详细了，我在这先给他贴出来

参考连接：http://open.189.cn/discuz/forum.php?mod=viewthread&tid=86

摘要: 原创作者:博客园sharpstill,转载请注明Scrapy是一款非常成熟的爬虫框架，可以抓取网页数据并抽取结构化数据，目前已经有很多企业用于生产环境。对于它的更多介绍，可以查阅相关资料（官方网站：www.scrapy.org）。我 ...

Scrapy是一款非常成熟的爬虫框架，可以抓取网页数据并抽取结构化数据，目前已经有很多企业用于生产环境。对于它的更多介绍，可以查阅相关资料（官方网站：www.scrapy.org）。

我们根据官网提供的安装指南，来一步步安装，主要参考了http://doc.scrapy.org/en/latest/intro/install.html页面的介绍：

view plain

• Requirements?0?9  
• Python 2.5, 2.6, 2.7 (3.x is not yet supported)  
• Twisted 2.5.0, 8.0 or above (Windows users: you’ll need to install Zope.Interface and maybe pywin32 because of this Twisted bug)  
• w3lib  
• lxml or libxml2 (if using libxml2, version 2.6.28 or above is highly recommended)  
• simplejson (not required if using Python 2.6 or above)  
• pyopenssl (for HTTPS support. Optional, but highly recommended)  
  

下面记录一下从安装Python到安装scrapy的过程，最后，通过执行命令进行抓取数据来验证我们所做的安装配置工作。

准备工作

操作系统：RHEL 5
Python版本：Python-2.7.2
zope.interface版本：zope.interface-3.8.0
Twisted版本：Twisted-11.1.0
libxml2版本：libxml2-2.7.4.tar.gz
w3lib版本：w3lib-1.0
Scrapy版本：Scrapy-0.14.0.2841

安装配置
1、安装zlib

首先检查一下你的系统中是否已经安装zlib，该库是一个与数据压缩相关的工具包，scrapy框架依赖于该工具包。我使用的RHEL 5系统，查看是否安装：

view plain

• [root@localhost scrapy]# rpm -qa zlib  
• zlib-1.2.3-3  
  

我的系统已经默认安装了，安装的话，可以跳过该步骤。如果没有安装的话，可以到 http://www.zlib.net/ 上下载，并进行安装。假如下载的是zlib-1.2.5.tar.gz，安装命令如下所示： view plain

• [root@localhost scrapy]# tar -xvzf zlib-1.2.5.tar.gz  
• [root@localhost zlib-1.2.5]# cd zlib-1.2.5  
• [root@localhost zlib-1.2.5]# make  
• [root@localhost zlib-1.2.5]# make install 
  
  

在我的centos上安装zlib的步骤是yum search zlib,然后yum install zlib-devel2、安装Python（注意后面的提示）

我的系统中已经安装的Python 2.4，根据官网要求和建议，我选择了Python-2.7.2，下载地址如下所示：

http://www.python.org/download/（需要代理）
http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz

我下载了Python的源代码，重新编译后，进行安装，过程如下所示：