python3 scrapy安装_python3爬虫环境搭建（scrapy安装过程+flask1.0.2安装）

环境准备：

OS：centos7

python：3.6.5

pip3：10.0.1

scrapy：1.5.0

主要参考地址：

(3)scrapy安装使用指南：https://scrapy-chs.readthedocs.io/zh_CN/0.24/

centos OS默认安装的为python2，python3中新特性是项目所需要的，centOS很多软件依赖的都是python2,所有不能卸载掉，python2与python3又不兼容，

所以此处保留python2,同时安装python3,所有使用python时要注明使用的版本。具体安装过程：

(1)python安装：

完全参考：https://www.cnblogs.com/JahanGu/p/7452527.html，将版本号改为3.6.5即可；

(2)pip3安装：

1、首先安装setuptools

wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26

tar -zxvf setuptools-19.6.tar.gz

cd setuptools-19.6

python3 setup.py build

python3 setup.py install

2、然后直接安装pip3：

wget --no-check-certificate https://pypi.python.org/packages/source/p/pip/pip-8.0.2.tar.gz#md5=3a73c4188f8dbad6a1e6f6d44d117eeb

tar -zxvf pip-8.0.2.tar.gz

cd pip-8.0.2

python3 setup.py build

python3 setup.py install

3 、升级pip3:

pip3 install --upgrade pip

4、查看pip3是否安装成功及版本号：pip3 -V

(3)安装scrapy

1、依赖库安装

sudo yum groupinstall development tools sudo yum install python34-devel epel-release libxslt-devel libxml2-devel openssl-devel

2、scrapy安装

pip3 install Scrapy

3、检查安装是否成功

Scrapy -V

(4)安装flask

此处可以直接使用pip3安装：pip3 install flask

查看是否安装成功：

1.输入python

2.输入import flask

3.输入flask.__version__

遇到问题：

(1)、软连接创建问题：

技术研发部 > python3爬虫环境搭建(scrapy安装过程+flask1.0.2安装) > image2018-5-23 16:58:19.png

修改创建的软连接：ln -snf /usr/local/python3/bin/python3 /usr/bin/python3

可能没创建软连接：ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3