centos安装python3，Anaconda3安装以及Jupyter和pyspark集成

安装python3

1，安装相应的编译工具

yum -y groupinstall "Development tools"
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
yum install -y libffi-devel zlib1g-dev
yum install zlib* -y

2，下载安装包

wget wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tar.xz

3，解压安装包到任意目录下

tar -xvJf Python-3.7.2.tar.xz -C /opt/install/

4，创建编译安装目录

mkdir /usr/local/python3

5，安装

cd Python-3.7.2
./configure --prefix=/usr/local/python3 --enable-optimizations --with-ssl
#第一个指定安装的路径,不指定的话,安装过程中可能软件所需要的文件复制到其他不同目录,删除软件很不方便,复制软件也不方便.
#第二个可以提高python10%-20%代码运行速度.
#第三个是为了安装pip需要用到ssl,后面报错会有提到.
make && make install

6，创建软链接

ln -s /usr/local/python3/bin/python3 /usr/local/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3

7，验证是否成功

python3 -V
pip3 -V

上面参考自https://www.cnblogs.com/xiujin/p/11477419.html

Anaconda3安装以及Jupyter和pyspark集成

1，前置安装spark
2，在/etc/profile配置spark环境

#spark environment
export SPARK_HOME=/opt/soft/spark234
export SPARK_CONF_DIR=$SPARK_HOME/conf
export PATH=$PATH:$SPARK_HOME/bin

3，安装bzip2

 yum install -y bzip2
 //此步不执行安装anaconda会报错

4，直接执行下载到linux下的Anaconda3-5.1.0-Linux-x86_64.sh文件的目录下

bash Anaconda3-5.1.0-Linux-x86_64.sh

根据提示回车或yes 只有最后安装vcode回答no
5，配置环境变量并使之生效vi /etc/profile生效source /etc/profile

#anaconda3 environment
export ANACONDA_HOME=/root/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin
export PYSPARK_DRIVER_PYTHON=jupyter-notebook
export PYSPARK_DRIVER_PYTHON_OPTS=" --ip=0.0.0.0 --port=8888"

6，生成jupyter配置文件
(我使用root用户路径是 /root/.jupyter/jupyter_notebook_config.py)
进入你的用户根目录

cd ~
jupyter notebook --generate-config

7，生成Jupyter登陆密码

ipython
from notebook.auth import passwd
passwd()

输入你的密码后，如果密码太短会输入第二次确定，生成一个sha1:xxxxx 用记事本粘贴好

8， 修改jupyter_notebook_config.py文件

c.NotebookApp.allow_root=True
c.NotebookApp.ip='*'
c.NotebookApp.open_browser=False
c.NotebookApp.password=u'刚才生成的密码，粘贴在记事本上的'
c.NotebookApp.port=7070 #此端口为不使用pyspark的端口

9， 执行命令
1，如果要环境加入pyspark 就直接执行命令 python
2， 如果只需要普通python环境 就输入命令 jupyter notebook --allow-root

10，在浏览器上根据命令提示的端口登录,这就成功了