Spark以及Scala安装文档
Scala安装:
1、上传安装包到 /opt 目录下(在master上执行)
2、解压安装文件:
tar -zxf scala-2.12.1.tgz -C ./
3、配置环境变量:
vim /etc/profile
export SCALA_HOME=/opt/scala-2.12.1
export PATH=$SCALA_HOME/bin:
4、使配置文件立即生效
source /etc/profile
5、验证 Scala 安装是否成功:
scala -version
显示内容如下:
Scala code runner version 2.12.1 -- Copyright 2002-2016, LAMP/EPFL and Lightbend, Inc.
Spark安装文档:
1、上传安装包到 /opt 目录下(在master上执行)
2、解压安装文档
cd /opt/
tar -zxf spark-2.4.3-bin-hadoop2.7.tgz -C ./
3、创建软链接
cd /opt/
ln -s spark-2.4.3-bin-hadoop2.7 spark-2.4.3
4、修改 spark-env.sh 文件:
cd /opt/spark-2.4.3/conf
拷贝 spark-env.sh
cp spark-env.sh.template spark-env.sh
修改配置文件内容:(在最后一行添加)
export JAVA_HOME=/opt/jdk1.8.0_11
export SCALA_HOME=/opt/scala-2.12.1
export HADOOP_HOME=/opt/hadoop-2.6.5
export HADOOP_CONF_DIR=/opt/hadoop-2.6.5/etc/hadoop
export SPARK_MASTER_HOST=master
5、修改 slaves 文件:
cd /opt/spark-2.4.3/conf
拷贝 slaves
cp slaves.template slaves
修改配置文件内容:
slave1
slave2
6、拷贝文件到 slave1、slave2
拷贝 Scala 安装文件:
scp -r /opt/scala-2.12.1 slave1:/opt/
scp -r /optscala-2.12.1 slave2:/opt/
拷贝 /etc/profile 文件:
scp -r /etc/profile slave1:/etc/
scp -r /etc/profile slave2:/etc/
拷贝 spark 安装文件:
scp -r spark-2.4.3 slave1:/opt/
scp -r spark-2.4.3 slave2:/opt/
7、启动集群:
先启动HDFS、在启动Spark
start-dfs.sh
./opt/spark-2.4.3/sbin/start-all.sh
master节点进程:
Master
SecondaryNameNode
NameNode
slave节点进程:
Worker
DataNode
8、浏览器中查看
master:8080