Ubuntu18
scala2.11.8
spark2.3.3
ubuntu18.0
jdk1.8
(未安装Hadoop版本)
一.安装jdk:
Ubuntu在/etc/profile配置完jdk每次都要source才能使用java命令(配置永久环境变量):
source /etc/profile配置是会造成上述问题,因而需要下面的操作:
vim ~/.bashrc(vim未安装需要sudo apt install vim 安装一下)进入文档
在文档的最上方添加:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_161 (安装jdk的位置)
export PATH=PATH:PATH:PATH:JAVA_HOME/bin
export CLASSPATH=.:JAVA_HOME/lib/dt.jar:JAVA_HOME/lib/dt.jar:JAVA
H
OME/lib/dt.jar:JAVA_HOME/lib/tools.jar
(Esc 保存,:wq推出)
source ~/.bashrc
二.安装scala:
下载好安装包:scala-2.11.8.tgz
mkdir /usr/local/scala(创建安装目录scala)
tar -zxvf ~/下载/scala-2.11.8.tgz -C /usr/local/scala
设置环境变量:
vim ~/.bashrc:
按”i“表示编辑状态,文件最上方添加
export SCALA_HOME=/usr/lib/scala
export PATH=SCALAHOME/bin:{SCALA_HOME}/bin:SCALA
H
OME/bin:PATH
输入后,按 Esc键,然后输入:wq!(表示强制输入内容并退出)
scala -version 验证
三.安装spark:
1安装Spark
创建spark目录mkdir /usr/local/spark,解压 spark-2.3.3-bin-hadoop2.7.tgz
sudo tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C /usr/local/spark