记录spark部署ha模式遇到的一些坑

参考搭建文章

我是看这位大神文章搭建的，但是有差错，我基于我配置或多或少增加了或者修改了一些东西，文章下面内容记录一下。大神搭建文章贴上来
https://github.com/heibaiying/BigData-Notes/blob/master/notes/installation/Spark集群环境搭建.md

修改8080端口

我们知道8080端口是很多web应用的默认端口，如果一台机器上两个服务都用8080就会引起冲突，同时8080也容易被黑客攻击的端口。因此希望可以修改hbase或者spark的默认web ui访问的8080端口。
但是，千万要注意**，千万不能修改8081，**，因为8081也是spark的一个常用端口，你修改后，可能主节点上是正常活跃的，但是，当你想查看其他standby的节点时，你就GG了。
例如，这是我们正常的UI界面
但是你重叠8081端口后，你打开standby的节点就会这样
其实8081是spark work的web端口，新手安装spark时候千万不要为了贪方便改为8081.
此外，修改端口的方式是到spark安装目录下的start-master.sh，把最后一句的SPARK_MASTER_WEBUI_PORT=8080改为8081就行

记录一下spark有关的其他端口

50070：HDFSwebUI的端口号
8485:journalnode默认的端口号
9000：非高可用访问数rpc端口
8020：高可用访问数据rpc
8088：yarn的webUI的端口号
8080：master的webUI
7077：spark基于standalone的提交任务的端口号
8081：worker的webUI的端口号
18080：historyServer的webUI的端口号
4040：application的webUI的端口号
2181：zookeeper的rpc端口号
9083：hive的metastore的端口号
60010：Hbase的webUI的端口号
6379：Redis的端口号
8080：sparkwebUI的端口号
9092：kafka broker的端口

spark ha的spark-env.sh配置修改

#Javahome，（ spark启动的时候是通过ssh联系节点，然后好像是不用本地的那个Javahome，所以要特意配上）
export JAVA_HOME=/usr/local/app/jdk
#scala安装目录
export SCALA_HOME=/usr/local/app/jdk
#Hadoop 的安装目录
export HADOOP_HOME=/usr/local/app/local/app/hadoop
export HADOOP_CONF_DIR=/local/local/app/hadoop/etc/hadoop
# spark作业内存，512m1g这样配置，配置大了会卡，配置少了后面运会有时候不足
export SPARK_WORKER_MEMORY=1g
#可作业的cpu数目
export SPARK_WORKER_CORES=2
#worker的数目
export SPARK_WORKER_INSTANCES=1
#master主机名
export SPARK_MASTER_HOST=hadoop001
#提交作业端口，默认7070
export SPARK_MASTER_PORT=7077
#zookeeper的集群地址
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop001:2181,hadoop002:2181,hadoop003:2181 -Dspark.deploy.zookeeper.dir=/spark"

bind on port 4040.

20/03/18 22:10:12 WARN Utils: Service ‘SparkUI’ could not bind on port 4040.
这个问题好像是submit成为了僵尸进程，spark-shell 已有一个对象，再创建就提示不行了，目前我的方法是重启
这是大神的僵尸进程文章，不懂可以看一下https://www.cnblogs.com/Anker/p/3271773.html

还有这个问题，也是重启