java + scala + spark安装（centos为例）

在环境安装过程中，有时会忘记hdfs的命令，需要网上查，所以这次记录一下基本操作，便于以后自己查询使用。

java 安装

# 查看包含的java包
yum search java   或者。
yum list java*

# 安装（选择一个版本）
yum install java-1.8.0-openjdk-devel.x86_64

# 配置环境变量，配置好的见下文
# 使配置生效
source  /etc/profile  或
source  ～/.bashrc

# 验证
java -version

scala安装

# 在[scala官网](https://www.scala-lang.org/download/2.12.2.html)找到对应的包，并在到机器上。

# 解压，并将解压文件复制到安装目录

# 配置环境变量(内容见后文完整版)
- 全局配置：/etc/profile
- 当前用户配置：~/.bashrc

# 验证
scala -version

spark安装

# 在[spark官网](https://spark.apache.org/downloads.html)中找到对应的安装包，并下载到机器上
# 解压到指定目录（即为安装目录）

# 配置环境变量(内容见后文完整版)
- 全局配置：/etc/profile
- 当前用户配置：~/.bashrc

环境变量配置

• 可以在系统层级配置： /etc/profile
• 可以在当前用户级别配置：～/.bashrc

配置好之后的环境变量：

export PATH="/data/anaconda3/envs/py36_tf24/bin:$PATH"
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.tl2.x86_64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export PATH=${JRE_HOME}/bin:$PATH
export SCALA_HOME=/data/software/scala-2.12.2
export PATH=${SCALA_HOME}/bin:$PATH
export SPARK_HOME=/data/software/spark-3.2.1-bin-hadoop3.2
export PATH=${SPARK_HOME}/bin:$PATH

参考文档

https://cloud.tencent.com/developer/article/1494402