直接先教大家下载scala
这是下载网址
然后使用xftp将下载好的安装包传输到虚拟机(VMware)
然后在虚拟机里解压安装包
下一步就是进入虚拟机配置scala的环境了
vim /etc/profile
#SCALA
export SCALA_HOME=/opt/scala-2.12.12
export PATH=$PATH:${SCALA_HOME}/bin
然后source /etc/profile使环境变量生效,接着scala -version查看是否安装成功,出现画线版本号即为成功
如果没问题的话到这里scala已经安装好了
spark的安装与部署
先到官网下载一个自己需要的spark版本
下载完成之后进入虚拟机环境去解压tgz安装包
改一下文件名
改成spark就行方便操作
之后就是配置spark的环境
vim /etc/profile
export SPARK_HOME=/opt/spark
export PATH=$PATH:${SPARK_HOME}/bin
export PATH=$PATH:${SPARK_HOME}/sbin
source /etc/profile使环境生效
修改配置文件 进入spark里的conf目录备份文件
vim spark-env.sh
export SCALA_HOME=/opt/scala-2.12.12
export JAVA_HOME=/opt/module/java
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
#export SPARK_MASTER_WEBUI_PORT=8080
#export SPARK_MASTER_PORT=7070
启动集群,spark下sbin目录下,./start-all.sh
最后输入spark-submit --version查看是否成功,如图下即为成功