1. python 3.4
Linux机器中已经装有python2.7.6以及python3.4.3,然而默认的python所执行的是python2.7。将Linux下python的默认版本从python2.7改成python3.4使用的是命令
update-alternatives。
在shell中执行命令update-alternatives设置python的优先级:(python3优先级较高)
sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150
如果要从python3切换成python2则使用以下命令(manual mode人工选择python版本):
sudo update-alternatives --config python
2. scrapy (>= 1.1)
配置scrapy之前需要分别先用apt-get以及pip安装以下依赖包
apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
pip install pyOpenSSL cryptography cffi pycparser
安装完之后即使用pip安装scrapy即可(安装scrapy所遇到的问题写在 另一篇博文中)
pip install scrapy
3. redis (>= 2.8)
apt-get install redis-server
4. redis-py (>= 2.1)
pip install redis
5. scrapy_redis
pip install scrapy_redis
可以由git clone下载scrapy_redis的 github repository,从而测试功能。