节点 | 角色 |
node102 | master+worker |
node103 | worker |
node104 | worker |
在此之前已经安装好了hadoop环境
首先下载安装包spark-1.6.0-bin-hadoop2.6
解压到/opt/spark-1.6.0下
配置spark
cd $SPARK_HOME/conf
1. vi slaves
#将Worker主机名加入
node012
node103
node104
2.修改spark-env.sh
cp spark-env.sh.template spark-env.sh
#spark-env.sh 为Spark进程启动时需要加载的配置
#改模板配置中有选项的具体说明
exportJAVA_HOME=/opt/jdk1.7.0_80
exportSPARK_MASTER_IP=node102 #主节点ip
export HADOOP_CONF_DIR=/opt/hadoopxxx/etc/hadoop
exportSPARK_CLASSPATH=$SPARK_CLASSPATH:$(/opt/hadoopxxx/bin/hadoop classpath)
3. 配置spark-defaults.conf
cp spark-defaults.conf.template spark-defaults.conf
vi spark-defaults.conf
文本基本内容修改如下:
spark.master spark://node102:7077
#spark.eventLog.enabled true
# spark.eventLog.dir hdfs:///data/directory #要保证这个路径存在
spark.serializer org.apache.spark.serializer.KryoSerializer
4.启动spark进程
$SPARK_HOME/sbin/start-all.sh
启动Spark历史任务记录:
[spark@master conf]$ $SPARK_HOME/sbin/start-history-server.sh
5.Spark-shell测试Spark集群:
leofs上传test文件
[spark@master conf]$ $SPARK_HOME/bin/spark-shell --master spark://node102:7077
运行无报错,执行:
val v1=sc.textFile("leofs:///test")
v1.first
v1.collect
能正确显示结果,则表示安装配置成功。