hadoop6-spark

Spark

1.1集群部署

• 解压安装包到module文件夹
• 配置文件
  • 拷贝slaves.template为slaves
  • 拷贝spark-env.sh.temlate到spark-env.sh

# slaves
host-slave..

#env.sh
SPARK_MASTER_HOST=master01
SPARK_MASTER_PORT=7077

• 启动

  • xsync安装包到其它机器
  • 在master上使用sbin/start-all.sh
  • jps可见master/worker; web登陆had001:8080

• 启用history-server

  • 拷贝spark-defaults.conf.template为spark-defaults.conf
  • 启用sbin/start-history-server.sh
  • 查看端口开启服务 had002:7078

# 修改conf
## 主机地址 
spark.master                     spark://had002:7077
## 开启日志
spark.eventLog.enabled           true
## hdfs文件夹位置
## 需要手工创建 hdfs dfs -mkdir /directory
spark.eventLog.dir               hdfs://had002:9000/directory

## 修改spark-env.sh
# 指定访问端口 指定记录路径 备份内存备份数目 
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7077
-Dspark.history.retainedApplications=3
-Dspark.history.fs.logDirectory=hdfs://had002:9000/directory"