CentOS7 linux基于Hadoop的spark单机版安装和python3安装（2021-10-01）

一、基于Hadoop安装spark单机版
1.解压spark相关版本的tgz包到指定目录
2.安装后，还需要修改Spark的配置文件spark-env.sh

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

在spark-env.sh添加：

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

作用：使spark可以读写HDFS上的数据。
3.为方便在全局使用spark命令启动shell，配置PATH环境变量：修改/etc/profile文件：

export SPARK_HOME=/usr/local/spark3. 1
export PATH=$PATH:$SPARK_HOME/bin

执行命令：source /etc/profile 刷新环境变量

二、安装python3
1.将yum的库改为国内清华镜像（更新yum相关包）
2.yum命令安装gcc编译器和其它依赖文件
3.wget安装python3（注意目录）
4.建立软链接

yum包相关：
Centos修改yum清华安装源、阿里安装源详细方法
升级yum包
安装python3过程参考：
Centos7 安装python3 （主）
Centos 7安装python3
附：
清华大学开源软件镜像站 CentOS 镜像使用帮助
各版本gcc
各版本python