第五章：基于第四章spark集群搭建实验

1.  环境

节点 (192.168.118.*)	服务器	Node1 (ip:142)	Node2 (ip:142)	Node3 (ip:142)	Node4 (ip:142)
NameNode	HDFS master	是	是
ResourceManage	YARN master	是
NodeManage	YARN slave		是	是	是
DataNode	HDFS slave		是	是	是
JournalNode	HADF 元数据 共享池		是	是	是
Zookeeper	Zookeeper	是	是	是
ZKFC	NameNode 高可用	是	是
HMaster	HBase master	是	是
RegionServer	HBase slave	是	是	是	是
AppMaster	Spark master	是
Executor	Spark slave		是	是	是

 

2.  配置spark

1.     配置slave节点

        

2.     配置spark-env

exportJAVA_HOME=/usr/java/jdk1.7.0_21

exportSPARK_MASTER_IP=node1

exportSPARK_MASTER_PORT=7077

exportSPARK_WORKER_CORES=1

exportSPARK_WORKER_INSTANCES=1

exportSPARK_WORKER_MEMORY=1g

exportHADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

exportYARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

exportSPARK_HOME=/root/spark

exportSPARK_JAR=$SPARK_HOME/lib/spark-assembly-1.1.1-hadoop2.5.2.jar

exportPATH=$SPARK_HOME/bin:$PATH

 

3.  启动spark

./start-all.sh

 

访问 node1:8080