Spark 2.3+Ubuntu18简单安装过程

安装Scala：

1. 到官网下载最新版本的scala 2.12.7，并拷贝至虚拟机中

https://www.scala-lang.org/download/

1. 解压

sudo mkdir /usr/lib/scala

sudo tar -xzvf scala-2.12.7.tgz -C /usr/lib/scala

1. 添加到系统变量中

sudo gedit ~/.bashrc

export SCALA_HOME=/usr/lib/scala/scala-2.12.7

export PATH=${SCALA_HOME}/bin:$PATH

1. 使脚本生效

source ~/.bashrc

1. 测试，查看scala版本 scala -version

 

安装Spark：

1. 官网下载最新版Spark 2.3.2:

https://www.apache.org/dyn/closer.lua/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz

1. 放入虚拟机中并解压
2. 编辑环境变量

sudo gedit ~/.bashrc

export SPARK_HOME=/home/gary/Code/spark-2.3.2-bin-hadoop2.7

export PATH=$PATH:$SPARK_HOME/bin

export SPARK_EXAMPLES_JAR=$SPARK_HOME/examples/jars/spark-examples_2.11-2.3.2.jar

source ~/.bashrc

1. 编辑spark-env.sh配置文件

cd conf

将模板复制一份：cp spark-env.sh.template spark-env.sh

export SCALA_HOME=/usr/lib/scala/scala-2.12.7

export JAVA_HOME=/usr/lib/jdk8/jdk1.8.0_191

SPARK_MASTER_HOST=master

SPARK_MASTER_PORT=7077

SPARK_WORKER_CORES=1

 

编辑slave配置文件

cp slaves.template slaves

master

slaver1

slaver2

1. 拷贝至另外2台机器

sudo scp -r spark-2.3.2-bin-hadoop2.7 gary@slaver1:/home/gary/Code

sudo scp -r spark-2.3.2-bin-hadoop2.7 gary@slaver2:/home/gary/Code

1. 启动服务

sbin/start-master.sh

sbin/start-slaves.sh

sbin/start-all.sh

附：

sbin目录总结：

sbin/start-master.sh - 在当前机器上启动一个主节点。

sbin/start-slaves.sh- 在conf/slaves文件中指定的所有机器上启动一个从节点。

sbin/start-slave.sh - 在当前机器上启动一个从节点。

sbin/start-all.sh - 启动所有master和slave。

sbin/stop-master.sh- 停止master。

sbin/stop-slaves.sh- 停止所有slave。

sbin/stop-all.sh - 停止所有master和slave。

1. 验证是否启动成功

分别在master和slaver上输入jps查看启动情况

 

启动成功后可以在http://master:8080上查看到当前集群状况

1. 停止服务

cd sbin

./stop-master.sh

./stop-slaves.sh

stop-all.sh