十、scala、spark集群搭建

spark集群搭建：
1、上传scala-2.10.6.tgz到master
2、解压scala-2.10.6.tgz
3、配置环境变量
export SCALA_HOME=/mnt/scala-2.10.6
export PATH=$PATH:$SCALA_HOME/bin
4、分别发送scala-2.10.6 /etc/profile到slave01、slave02
scp -r scala-2.10.6 root@slave01:/mnt/
scp /etc/profile root@slave01:/etc/profile
5、source /etc/profile并且输入scala测试
6、配置spark
上传spark-1.6.3-bin-hadoop2.6.tgz解压
进入/yangfengbing/spark-1.6.3-bin-hadoop2.6/conf
mv spark-env.sh.template spark-env.sh
配置spark-env.sh文件：
解释：JAVA_HOME 指定 Java 安装目录；
SCALA_HOME 指定 Scala 安装目录；
SPARK_MASTER_IP 指定 Spark 集群 Master 节点的 IP 地址；
SPARK_WORKER_MEMORY 指定的是 Worker 节点能够分配给 Executors 的最大内存大小；
#HADOOP_CONF_DIR 指定 Hadoop 集群配置文件目录。

export JAVA_HOME=/mnt/jdk1.7.0_80
export SCALA_HOME=/mnt/scala-2.10.6
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=2G
export HADOOP_CONF_DIR=/mnt/hadoop-2.6.5/etc/hadoop
7、进入/yangfengbing/spark-1.6.3-bin-hadoop2.6/conf 找到slaves
mv slaves.template slaves
配置：
master
slave01
slave02
8、配置spark的环境变量
export SPARK_HOME=/mnt/spark-1.6.3-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
9、发送spark、/etc/profile
scp -r spark-1.6.3-bin-hadoop2.6 root@slave01:/mnt/
scp /etc/profile root@slave01:/etc/profile
source /etc/profile
10、启动集群
1) 启动 Master主机 节点
运行 start-master.sh就可以启动三台的spark服务

进入192.168.200.200:8080查看

转载于:https://www.cnblogs.com/yfb918/p/11510944.html