Python爬虫框架Scrapy学习二记——Scrapy开发环境配置

本章将以 Scrapy 1.4.0 为例进行安装演示，其他版本差异自寻。

Python运行环境需求及系统支持

Python 2.7 或者 Python 3.3+运行环境皆可
Linux, Windows, Mac OSX, BSD系统全支持

下载安装（无论是windows还是其他环境都将在命令行进行安装）

首先我们来看一下官网下载页面,了解一下各个版本以及我们将要安装的Scrapy 1.4.0版本

如果你一般使用Anaconda 或者 Miniconda，你可以从conda-forge渠道安装scrapy最新包（Linux, Windows and OS X平台都有）

使用conda安装的话, 请在命令行运行:

conda install -c conda-forge scrapy

如果你早已经对安装Python包很熟悉了，那么 pip 命令无疑是很好的方法，你只需要在命令行中运行：

pip install Scrapy

对于不同的系统有时候会有一些编译或者包依赖，请仔细阅读每个平台的安装要求各平台安装明则

官网呢是十分强烈我们使用Python的虚拟环境来安装scrapy的，这样做能够避免环境冲突，当然我个人也是强烈推荐的，因为我的Python环境都是独立的虚拟环境，如果不知道什么是Python虚拟环境请阅读 Python Virtualenv虚拟环境的搭建

windows下通过pip命令来安装scrapy

(windows下推荐使用conda安装，pip安装的话可能会遇到一些问题！)

Ubuntu下通过pip安装

首先安装已下依赖：

sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

如果在Python 3上安装scrapy,将需要安装Python 3开发标头

sudo apt-get install python3 python3-dev

接着通过pip命令安装scrapy

pip install scrapy

如果出现已下报错

Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrapy) (from versions: )
No matching distribution found for Twisted>=13.1.0 (from Scrapy)

原因是没有安装Twisted
解决方法为：

wget https://pypi.python.org/packages/source/T/Twisted/Twisted-15.2.1.tar.bz2

tar -xjvf Twisted-15.2.1.tar.bz2
cd Twisted-15.2.1
python setup.py install

最后再次运行pip install scrapy安装命令，完成之后输入以下命令，有显示结果则安装成功

到这环境就配置好了，休息一下准备开启第一个试炼吧！