在环境安装过程中,有时会忘记hdfs的命令,需要网上查,所以这次记录一下基本操作,便于以后自己查询使用。
java 安装
# 查看包含的java包
yum search java 或者。
yum list java*
# 安装(选择一个版本)
yum install java-1.8.0-openjdk-devel.x86_64
# 配置环境变量,配置好的见下文
# 使配置生效
source /etc/profile 或
source ~/.bashrc
# 验证
java -version
scala安装
# 在[scala官网](https://www.scala-lang.org/download/2.12.2.html)找到对应的包,并在到机器上。
# 解压,并将解压文件复制到安装目录
# 配置环境变量(内容见后文完整版)
- 全局配置:/etc/profile
- 当前用户配置:~/.bashrc
# 验证
scala -version
spark安装
# 在[spark官网](https://spark.apache.org/downloads.html)中找到对应的安装包,并下载到机器上
# 解压到指定目录(即为安装目录)
# 配置环境变量(内容见后文完整版)
- 全局配置:/etc/profile
- 当前用户配置:~/.bashrc
环境变量配置
- 可以在系统层级配置: /etc/profile
- 可以在当前用户级别配置:~/.bashrc
配置好之后的环境变量:
export PATH="/data/anaconda3/envs/py36_tf24/bin:$PATH"
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.tl2.x86_64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export PATH=${JRE_HOME}/bin:$PATH
export SCALA_HOME=/data/software/scala-2.12.2
export PATH=${SCALA_HOME}/bin:$PATH
export SPARK_HOME=/data/software/spark-3.2.1-bin-hadoop3.2
export PATH=${SPARK_HOME}/bin:$PATH
参考文档
https://cloud.tencent.com/developer/article/1494402