Spark以及Scala安装文档

Spark以及Scala安装文档

Scala安装：

1、上传安装包到 /opt 目录下（在master上执行）

2、解压安装文件：

tar  -zxf  scala-2.12.1.tgz  -C  ./

3、配置环境变量：

vim  /etc/profile

export SCALA_HOME=/opt/scala-2.12.1

export PATH=$SCALA_HOME/bin:

4、使配置文件立即生效

source  /etc/profile

5、验证 Scala 安装是否成功：

scala -version

显示内容如下：
Scala code runner version 2.12.1 -- Copyright 2002-2016, LAMP/EPFL and Lightbend, Inc.

Spark安装文档：

1、上传安装包到 /opt 目录下（在master上执行）

2、解压安装文档

cd  /opt/
tar  -zxf  spark-2.4.3-bin-hadoop2.7.tgz  -C  ./

3、创建软链接

cd  /opt/
ln  -s  spark-2.4.3-bin-hadoop2.7  spark-2.4.3

4、修改 spark-env.sh 文件：

cd  /opt/spark-2.4.3/conf
拷贝 spark-env.sh
cp spark-env.sh.template spark-env.sh
修改配置文件内容：（在最后一行添加）
	export JAVA_HOME=/opt/jdk1.8.0_11
	export SCALA_HOME=/opt/scala-2.12.1
	export HADOOP_HOME=/opt/hadoop-2.6.5
	export HADOOP_CONF_DIR=/opt/hadoop-2.6.5/etc/hadoop
	export SPARK_MASTER_HOST=master

5、修改 slaves 文件：

cd  /opt/spark-2.4.3/conf
拷贝 slaves 
cp  slaves.template slaves
修改配置文件内容：
	slave1
	slave2

6、拷贝文件到 slave1、slave2

拷贝 Scala 安装文件：
	scp  -r  /opt/scala-2.12.1  slave1:/opt/
	scp  -r  /optscala-2.12.1  slave2:/opt/
拷贝 /etc/profile 文件：
	scp  -r  /etc/profile  slave1:/etc/
	scp  -r  /etc/profile  slave2:/etc/
拷贝 spark 安装文件：
	scp  -r  spark-2.4.3  slave1:/opt/
	scp  -r  spark-2.4.3  slave2:/opt/

7、启动集群：

先启动HDFS、在启动Spark
start-dfs.sh
./opt/spark-2.4.3/sbin/start-all.sh

master节点进程：
	Master
	SecondaryNameNode
	NameNode
slave节点进程：
	Worker
	DataNode

8、浏览器中查看

master:8080