Python爬虫番外1-分布式环境安装scrapy

使用CentOS6 标准版系统

因为CentOS默认是python2

1. 安装 python3

   1. 安装装python3的环境

      yum install -y gcc,zlib*,openssl*
      

   2. 解压压缩包
      tar -xf python3.6.1.tar

      (参考Linux安装python3)

2. 安装scrapy

   1. 安装装scrapy的环境

       yum install -y wget
       wget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2
       
       tar -jxvf Twisted-17.1.0.tar.bz2  
       cd Twisted-17.1.0  
       python3 setup.py install
       
   

   2. 安装scrapy

   pip3.6 install scrapy
   

3. 安装 scrapy-redis

   pip3.6 install scrapy-redis