序言:通常使用pip install scrapy 安装scrapy包时会出现各种问题,导致安装失败。我将使用最快捷的方法安装scrapy
#在windows平台下
安装twisted
先下载 twisted 的 wheel安装包
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
例如python3.6版本,win10 64位操作系统,下载文件为Twisted‑17.9.0‑cp36‑cp36m‑win_amd64.whl,然后在该文件的指定目录下安装,使用管理员身份打开window powershell 或 cmd,指向该目录,例如我下载在 F:\Python\libs 这个目录
cd F:\Python\libs
pip install .\Twisted-17.5.0-cp36-cp36m-win_amd64.whl
使用豆瓣源安装scrapy
pip install -i https://pypi.douban.com/simple scrapy
在Ubuntu平台
安装依赖库
$ sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
安装twisted
$ wget https://pypi.python.org/packages/a2/37/298f9547606c45d75aa9792369302cc63aa4bbcf7b5f607560180dd099d2/Twisted-17.9.0.tar.bz2#md5=6dbedb918f0c7288a4c670f59393ecf8
--2017-10-17 19:13:42-- https://pypi.python.org/packages/a2/37/298f9547606c45d75aa9792369302cc63aa4bbcf7b5f607560180dd099d2/Twisted-17.9.0.tar.bz2
$ bzip2 -d Twisted-17.9.0.tar.bz2
$ tar xvf Twisted-17.9.0.tar
$ sudo pip install ./Twisted-17.9.0
使用豆瓣源安装scrapy
$ sudo pip install -i https://pypi.douban.com/simple scrapy