配置之前,查看各个之间的版本适配情况:
由于spark是scala语言开发的,所以安装spark之前需要先安装Scala
下载地址:
Scala:https://www.scala-lang.org/download/2.11.8.html
spark:http://archive.apache.org/dist/spark/spark-2.0.0/
scala 的安装:
解压缩到指定位置,
打开~/.bashrc,进行配置
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
spark 的安装:
配置环境的语句,在上图的截图中
配置成功:
可修改配置文件,将日志等级从‘info’,改为‘WARN’