腾讯云下Spark安装配置的注意事项

在腾讯云下安装spark的经历

事情的起因是有一个群友问到了这个问题，本着闲得无聊（因为找工作而焦虑睡不着所以就帮人家配置一下集群）

存在这样的一个问题：启动spark集群的时候发现每台机器上面只有一个master没有其他的进程

关于这个问题的排查：发现腾讯云主机的hostname和/etc/hosts里面配置的映射名称不一致。

然后继续启动spark集群，利用jps命令发现，一个spark相关进程都没有
查看日志发现：** Service ‘sparkMaster’ could not bind on port 7077. Attempting port 7078.**
出现这个问题的时候要检查一下是否用了内网ip，就是在/etc/hosts中配置内网的ip

这个时候要意识到master的机器上hosts中master的映射要写成内网的ip和主机名称
例如
master的hosts
master的内网ip master”
slave1的“外网ip” slave1
slave2的“外网ip” slave2

slave1的hosts
master的外网ip master”
slave1的“内网ip” slave1
slave2的“外网ip” slave2

slave2的hosts
master的外网ip master”
slave1的“外网ip” slave1
slave2的“内网ip” slave2

更多详细的内容可以参照这篇文章：看起来很细节
https://blog.csdn.net/qq_34297007/article/details/79819716