python spark机器学习&数据挖掘集成环境搭建 Centos7安装python3/Anaconda3/Jupyter/pyspark

Centos7安装python3/Anaconda3/Jupyter/pyspark

1.安装编译包

yum install gcc-c++ gcc make cmake zlib-devel bzip2-devel openssl-devel ncurse-devel libffi-devel -y

2.上传安装包到tools目录内

3.解压到softwares文件夹下

[root@bogon local]# mkdir -p /usr/local/python3  //级联创建文件夹

[root@bigdata01 Python-3.7.2]# make clean

[root@bigdata01 Python-3.7.2]# ./configure --prefix=/usr/local/python3/

[root@bigdata01 Python-3.7.2]# make && make install  //开始编译

4.备份原系统中的低版本

mv /usr/bin/python /usr/bin/python.bak

mkdir /usr/bin/pip

mv /usr/bin/pip /usr/bin/pip.bak

5.配置环境变量

创建新版本python和pip的软连接

ln -s /usr/local/python3/bin/python3.7 /usr/bin/python

ln -s /usr/local/python3/bin/pip3 /usr/bin/pip

6.修改yum功能

vi /usr/bin/yum

vi /usr/libexec/urlgrabber-ext-down

vi /usr/bin/firewall-cmd

vi /usr/sbin/firewalld

python后面加上2.7，如图

是否安装成功 python -V

7.scala spark 上传到指定目录

/home/tools 然后解压，配置环境变量

export SPARK_HOME=/home/softwares/spark

export SPARK_CONF_DIR=$SPARK_HOME/conf

export PATH=$SPARK_HOME/bin:$PATH

7.安装bzip2（此步不执行安装anaconda会报错）

yum install -y bzip2

8.直接执行下载到linux下的Anaconda3-5.1.0-Linux-x86_64.sh文件的目录下

然后执行

bash Anaconda3-5.1.0-Linux-x86_64.sh

根据提示回车或yes 只有最后安装vscode回答no

9. 配置环境变量并使之生效

vi /etc/profile & source /etc/profile

10. .生成jupyter配置文件

cd ~

jupyter notebook --generate-config

11.生成Jupyter登录密码

ipython

from notebook.auth import passwd

passwd()

12. 修改jupyter_notebook_config.py文件

c.NotebookApp.allow_root=True

c.NotebookApp.ip='*'

c.NotebookApp.open_browser=False

c.NotebookApp.password=u'刚才生成的密码'

c.NotebookApp.port=7070 #此端口为不使用pyspark的端口

13.执行命令

如果要环境加入pyspark 就直接执行命令 `python`

如果只需要普通python环境 就输入命令 jupyter notebook --allow-root

在浏览器输入192.168.1.151:7070后就出现界面，之后输入密码

直接pyspark即可

上面参考自https://juejin.cn/post/7208869642901700666