Spark的笔记05

spark默认端口修改

修改WENUI 端口 ：
在spark/conf/vim spark-env.sh 内写入
export SPARK_MASTER_WEBUI_PORT=8888（默认为8080，这里改为8888）
或
临时环境变量：
export SPARK_MASTER_WEBUI_PORT=9999`
export -n :删除零时变量

Master HA配置

两种方式

1.本地文件系统

​ 存储原数据:(workers,applications,drivers)

​ 需要每次手动切换Master

2.zookeeper

​ 储存原数据

​ 自动选举过功能

3.配置

在conf下的spark-env.sh内配置

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoverMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node01:2181,node02:2181,node03:2181 -Dspark.deploy.zookeeper.dir=/MasterHA"

Spark Shuffle