Hadoop组件搭建-SCALA SPARK

Scala

解压

更名

环境变量

vim /etc/profile

export SCALA_HOME=/root/scala
export PATH=$PATH:$SCALA_HOME/bin

刷新环境变量
source /etc/profile

Spark

解压

环境变量

vim /etc/profile

export SPARK_HOME=/root/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

刷新环境变量
source /etc/profile

配置文件

spark-env.sh

一般设置五个:

export JAVA_HOME=/root/java/jdk1.8.0_191
export SCALA_HOME=/root/scala-2.11.8
export HADOOP_HOME=/root/hadoop-2.7.1
export SPARK_MASTER_IP=master
export HADOOP_CONF_DIR=/root/hadoop-2.7.1/etc/hadoop

有的会有要求根据题目添加:
#master端口 默认7077
export SPARK_MASTER_PORT=7077
#master主机名
export SPARK_MASTER_HOST=master
#work节点内存
export SPARK_WORKER_MEMORY=1G
#work节点核心数量
export SPARK_WORKER_CORES=1

配置slaves

master
slave1
slave2

分发Scala、Spark、JDK变量

scp -r /root/scala root@slave1:/root
scp -r /root/scala root@slave2:/root

scp -r /root/spark root@slave1:/root
scp -r /root/spark root@slave2:/root

scp /etc/profile root@slave1:/etc/
scp /etc/profile root@slave2:/etc/

在slave1 slave2上也刷新环境变量

source /etc/profile

启动SparkShell

spark-shell