本章将以 Scrapy 1.4.0 为例进行安装演示,其他版本差异自寻。
Python运行环境需求及系统支持
Python 2.7 或者 Python 3.3+运行环境皆可
Linux, Windows, Mac OSX, BSD系统全支持
下载安装(无论是windows还是其他环境都将在命令行进行安装)
首先我们来看一下官网下载页面,了解一下各个版本以及我们将要安装的Scrapy 1.4.0版本
如果你一般使用Anaconda 或者 Miniconda,你可以从conda-forge渠道安装scrapy最新包(Linux, Windows and OS X平台都有)
使用conda安装的话, 请在命令行运行:
conda install -c conda-forge scrapy
如果你早已经对安装Python包很熟悉了,那么 pip 命令无疑是很好的方法,你只需要在命令行中运行:
pip install Scrapy
对于不同的系统有时候会有一些编译或者包依赖,请仔细阅读每个平台的安装要求各平台安装明则
官网呢是十分强烈我们使用Python的虚拟环境来安装scrapy的,这样做能够避免环境冲突,当然我个人也是强烈推荐的,因为我的Python环境都是独立的虚拟环境,如果不知道什么是Python虚拟环境请阅读 Python Virtualenv虚拟环境的搭建
windows下通过pip命令来安装scrapy
(windows下推荐使用conda安装,pip安装的话可能会遇到一些问题!)
Ubuntu下通过pip安装
首先安装已下依赖:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
如果在Python 3上安装scrapy,将需要安装Python 3开发标头
sudo apt-get install python3 python3-dev
接着通过pip命令安装scrapy
pip install scrapy
如果出现已下报错
Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrapy) (from versions: )
No matching distribution found for Twisted>=13.1.0 (from Scrapy)
原因是没有安装Twisted
解决方法为:
wget https://pypi.python.org/packages/source/T/Twisted/Twisted-15.2.1.tar.bz2
tar -xjvf Twisted-15.2.1.tar.bz2
cd Twisted-15.2.1
python setup.py install
最后再次运行pip install scrapy安装命令,完成之后输入以下命令,有显示结果则安装成功
到这环境就配置好了,休息一下准备开启第一个试炼吧!