基于CentOS7安装Python3计算环境与PyDev（Eclipse）开发工具日志（2021年）

1. python安装过程

1.1. python安装

为了避免编码版本兼容问题，以及利旧源代码，选择自己熟悉的python3.6版本安装。

1.首先安装依赖包，安装相应的编译工具

[root@bigdatahost bin]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

2.下载安装包

[root@bigdatahost bin]# wget http://www.python.org/ftp/python/3.6.8/Python-3.6.8.tgz

3.解压

[root@bigdatahost bin]# tar -zxvf Python-3.6.8.tgz
[root@bigdatahost bin]# cd  Python-3.6.8

4.创建编译安装目录

[root@bigdatahost bin]# mkdir /usr/local/python3

5.安装
指定安装的路径

[root@bigdatahost bin]# ./configure --prefix=/usr/local/python3
[root@bigdatahost bin]# make
[root@bigdatahost bin]# make install

6.创建软链接

[root@bigdatahost bin]# ln -s /usr/local/python3/bin/python3 /usr/bin/python3
[root@bigdatahost bin]# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

7.验证是否成功

python3 -V
pip3 -V

1.2. python工具包、算法框架安装

通过pip3命令，安装开发使用的工具包、算法框架包等。
1.数值计算包

[root@bigdatahost python]# pip3 install scipy
[root@bigdatahost python]# pip3 install numpy
[root@bigdatahost bin]# pip3 uninstall numpy
  Successfully uninstalled numpy-1.19.5

注意：
如果tensorflow使用中遇到如下错误，FutureWarning: Passing (type, 1) or ‘1type’ as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / ‘(1,)type’. _np_qint8 = np.dtype([(“qint8”, np.int8, 1)])
这是numpy版本过高所致，删除当前版本。

2.机器学习与Tensorflow算法框架包
使用tensorflow，注意安装依赖的numpy版本，推荐使用1.16.x。

[root@bigdatahost bin]# pip3 install numpy==1.16.0

[root@bigdatahost python]# pip3 install scikit-learn
[root@bigdatahost python]# pip3 install pandas

[python@bigdatahost ~]$ pip3 install tensorflow==1.13.2
[root@bigdatahost bin]# pip3 install Keras

补充1：
基于pip 19.0.1版本下载国内镜像，安装成功
pip3 install tensorflow==1.13.2 -i https://pypi.tuna.tsinghua.edu.cn/simple/

补充2：
pip 20.0版本有BUG，提示：pip install ImportError: cannot import name ‘SourceDistribution’
解决办法:手动升级pip
cd /usr/local/python3/bin
下载：curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python3 get-pip.py

3.机器学习集成算法XGBoost安装
XGBoost新版本需要依赖cmake3.15以上版本，以及gcc5.0以上版本，升级cmake和gcc过程如下所示：

[root@bigdatahost python]# pip3 install xgboost
No such file or directory: 'cmake': 'cmake'

[root@bigdatahost Downloads]# wget https://cmake.org/files/v3.17/cmake-3.17.1.tar.gz
[root@bigdatahost Downloads]# tar -zxvf cmake-3.17.1.tar.gz
[root@bigdatahost Downloads]# cd cmake-3.17.1
[root@bigdatahost cmake-3.17.1]# ./bootstrap --prefix=/usr
CMake has bootstrapped.  Now run gmake.
[root@bigdatahost cmake-3.17.1]# gmake
[root@bigdatahost cmake-3.17.1]# gmake install
升级gcc到5.x
如果已经安装，可以略过：
[root@bigdatahost Downloads]# yum install bzip2
[root@bigdatahost Downloads]# wget http://mirrors.ustc.edu.cn/gnu/gcc/gcc-5.4.0/gcc-5.4.0.tar.bz2
[root@bigdatahost Downloads]# tar -jxvf gcc-5.4.0.tar.bz2
[root@bigdatahost gcc-5.4.0]# cd gcc-5.4.0
[root@bigdatahost gcc-5.4.0]# ./contrib/download_prerequisites
[root@bigdatahost bin]# /home/python/Downloads/gcc-5.4.0/configure --enable-checking=release --enable-languages=c,c++ --disable-multilib

[root@bigdatahost bin]# make
[root@bigdatahost bin]# make install
保留一下4.8.5的gcc，后续需要回退的时候，可以方便很多
[root@bigdatahost bin]# mv gcc gcc-4.85
[root@bigdatahost bin]# mv g++ g++-4.85
[root@bigdatahost bin]# mv /usr/lib64/libstdc++.so.6 /usr/lib64/libstdc++.so.6-4.85
引用处理改为新版本
[root@bigdatahost bin]# ln -s /usr/local/bin/gcc /usr/bin/gcc
[root@bigdatahost bin]# ln -s /usr/local/bin/g++ /usr/bin/g++
[root@bigdatahost bin]# ln /usr/local/lib64/libstdc++.so.6 /usr/lib64/libstdc++.so.6

安装xgboost。

[root@bigdatahost python]# pip3 install xgboost

4.安装其他工具

# 安装Web服务
[root@bigdatahost bin]# pip3 install tornado
# 安装mongodb数据库接口
[root@bigdatahost python]# pip3 install pymongo
# 安装图形处理
[root@bigdatahost python]# pip3 install opencv-python
# 安装绘图工具包matplotlib
[root@bigdatahost python]# pip3 install matplotlib https://www.lfd.uci.edu/~gohlke/pythonlibs/

补充3：安装opencv报错
Failed to build opencv-python
Could not build wheels for opencv-python which use PEP 517 and cannot be installed directly
原因是新版本的是tar.gz包，低版本的pip处理不了
解决方案是降低opencv版本
pip3 install opencv-python==3.4.9.31 -i https://mirrors.aliyun.com/pypi/simple/

2. PyDev开发工具环境安装

2.1. Eclipse与JDK

首先，使用JDK1.8及以上环境。安装过程详见《CenOS7安装JDK与MySQL、Tomcat、TomEE（Opentext Process Platform安装实践之准备篇）》

在Eclipse官网下载Eclipse IDE for Java Developers（2019-09）Linux x86_64版本（镜像：China - eScience Center, Nanjing University）。

[root@bigdatahost bin]# tar -zxvf eclipse-java-2019-09-R-linux-gtk-x86_64.tar.gz 
[root@bigdatahost bin]# ln -s /opt/eclipse/eclipse /usr/bin/eclipse
# 如果安装出现问题，请直接删除文件夹。
# [root@bigdatahost bin]# rm -f -r eclipse
# 创建桌面Eclipse图标（programming下菜单）
[root@bigdatahost bin]# vi /usr/share/applications/eclipse.desktop

Linux下通过.desktop 文件创建桌面程序图标及文件编写方式。

[Desktop Entry]
Encoding=UTF-8
Name=Eclipse
Comment=Eclipse
Exec=/usr/bin/eclipse
Icon=/opt/eclipse/icon.xpm
Categories=Application;Development;Java;IDE
Version=1.0
Type=Application
Terminal=0

安装Chrome：
[root@bigdatahost bin]# yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm

2.2. 安装PyDev

由于前面安装的Eclipse是4.13版本，对应PyDev版本推荐使用7.1.0（http://www.pydev.org/update_sites/7.1.0），高版本不好使。安装界面在Eclipse的Help主菜单Install New Software菜单中。

检索出需要安装版本。

注意：

If you need to use an older version of Eclipse/Java/Python, below is the latest PyDev version to be used based on your requisites.

• Eclipse 4.18, Java 8: PyDev 8.2.0
• Eclipse 4.5, Java 8: PyDev 5.2.0
• Eclipse 3.8, Java 7: PyDev 4.5.5
• Eclipse 3.x, Java 6: PyDev 2.8.2
• Python 2.5 or older: PyDev 5.5.0

2.3. 配置PyDev

在Eclipse的Windows主菜单Preferences下，如下图找到“PyDev”进行Python接口配置（Interpreters/Python Interpreter），选择本文Python安装位置： /usr/bin/python3/bin/python3.6。

参考：
1.《centos7中安装python3》 博客园，修瑾 ，2019年6月
2.《基于CentOS7安装Python与Tensorflow GPU及科学计算环境实践日志》 CSDN博客 ，肖永威 ，2019年4月
3.《CenOS7安装JDK与MySQL、Tomcat、TomEE（Opentext Process Platform安装实践之准备篇）》 CSDN博客 ，肖永威 ，2017年4月
4.《Python入门学习（一），安装Eclipse开发环境》 CSDN博客 ，肖永威 ，2017年1月
5.《VMWare虚拟机安装CentOS 7 Linux及Hadoop与Eclipse学习环境（3-Eclipse开发环境）》 CSDN博客 ，肖永威 ， 2016年12月