spark集群配置

说明：这个集群是基于hdfs的一个三个节点的集群配置
节点：192.168.128  nl01    ---master
 192.168.1.2 nl02      --slave
 192.168.1.3 nl03      --slave


一． 配置jdk scala 








二． 配置zookeeper






三． 配置hadoop 集群








四． 配置spark集群
 配置spark-env.sh




cp spark-env.sh.template spark-env.sh


vi conf/spark-env.sh


<!---
#基本配置jdk scal hdfs
JAVA_HOME=/home/hadoop/app/jdk1.8.0_73
JRE_HOME=$JAVA_HOME/jre
SCALA_HOME=/home/hadoop/app/scala-2.10.4
HADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.0-cdh5.4.0/etc/hadoop




#集群的基本配置
SPARK_MASTER_IP=nl01
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1000M
SPARK_WORKER_PORT=7078
SPARK_WORKER_WEBUI_PORT=8081
SPARK_WORKER_INSTANCES=1


--->


 配置spark-defaults.conf
cp spark-defaults.conf.template spark-default.conf


vi spark-defaults.conf


#增加mask ip
spark.master                     spark://nl01:7077


 配置slaves 
scp  slaves.template slaves
vi slaves


#增加slaves
nl02
nl03


 拷贝：
scp -r spark--bin-2.6.0-cdh5.4.0/ nl02:/home/hadoop/app/
scp -r spark--bin-2.6.0-cdh5.4.0/ nl03:/home/hadoop/app/


启动master 
./bin/start-master.sh
启动workers
./bin/start-slaves.sh


 测试：
1. 访问：http://nl01:8080查看Workers
2. 执行spark-shell进入命令行
运行val textFile = sc.textFile("README.md")
textFile.count()
查看 是否得到正确的结果，