Centos7安装python3/Anaconda3/Jupyter/pyspark

打开虚拟机，用XShell连接虚拟机

1.安装编译包

出现Complete则成功

yum install gcc-c++ gcc make cmake zlib-devel bzip2-devel openssl-devel ncurse-devel libffi-devel -y

2.下载Python包和上传python包

（1）在/home/下创建两个tools和softwares目录

mkdir /home/tools
mkdir /home/softwares

（2）将python包上传到tools目录下，解压缩到softwares目录下 

（3）清理编译生成的临时文件和目标文件，保持一个干净的状态

（4）配置安装的路径

（5）开始编译

 mkdir -p /usr/local/python3  
 make clean
 ./configure --prefix=/usr/local/python3/ 
 make && make install  

3.备份原系统中的低版本python

mv /usr/bin/python /usr/bin/python.bak
mkdir /usr/bin/pip
mv /usr/bin/pip /usr/bin/pip.bak

4.配置环境变量

创建新版本python和pip的软连接

ln -s /usr/local/python3/bin/python3.7 /usr/bin/python
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip

5.修改yum功能，修改python的版本（四处都要修改为2.7）

vi /usr/bin/yum
vi /usr/libexec/urlgrabber-ext-down
vi /usr/bin/firewall-cmd
vi /usr/sbin/firewalld

最后查看python版本

6.安装spark

（1）上传到tools目录下，并解压缩到softwares目录下

（2）配置环境变量

export SPARK_HOME=/home/softwares/spark
export SPARK_CONF_DIR=$SPARK_HOME/conf
export PATH=$SPARK_HOME/bin:$PATH

7.安装bzip2（缺少此步执行安装anaconda会报错）

yum install -y bzip2

8.直接执行下载到linux下的Anaconda3-5.1.0-Linux-x86_64.sh文件的目录下

上传到根目录上

9.配置环境变量

export ANACONDA_HOME=/root/anaconda3 
export PATH=$PATH:$ANACONDA_HOME/bin 
export PYSPARK_DRIVER_PYTHON=jupyter-notebook 
export PYSPARK_DRIVER_PYTHON_OPTS=" --ip=0.0.0.0 --port=8888" 
export PYSPARK_PYTHON=$ANACONDA_HOME/bin/python

10.生成jupyte的r配置文件

jupyter notebook --generate-config

将默认配置写入/root/.jupyter/jupyter_notebook_config.py

11.生成jupyter登录密码

ipython
from notebook.auth import passwd
passwd()

如果密码太短会输入第二次确定，生成一个sha1:xxxxx 用记事本粘贴好

'sha1:af302852ca4c:3b9cd1ab644cbec255cacc46f1d537477cc6b52a'

12.修改jupyter_notebook_config.py文件

c.NotebookApp.allow_root=True
c.NotebookApp.ip='*'
c.NotebookApp.open_browser=False
c.NotebookApp.password=u'刚才生成的密码，博主用红色箭头指的那个'
c.NotebookApp.port=7070 #此端口为不使用pyspark的端口

当出现以下错误时，quit退出，打开notepad++，连接上虚拟机，找到root目录下的配置文件：/.jupyter/jupyter_notebook_config.py进行修改

找到上面5处进行修改，去掉“#”,在第四处c.NotebookApp.password=u“”将记好的sha1输入

记得保存

13.执行命令

（1）加入环境pyspark，输入python,输入exit（）退出

直接输入pyspark

如果不能用pyspark直接进 cd /home/softwares/spark ./bin/pyspark

（2）需要普通python环境 就输入命令 jupyter notebook --allow-root

在浏览器页面输入192.168.74.50：7070，输入密码，完成

借鉴:https://juejin.cn/post/7208869642901700666