Heron集群部署和配置更改记录

注：整体的heron集群配置过程记录见：https://blog.csdn.net/yitian_z/article/details/102961885

第一次集群配置

第一次heron集群配置在本地笔记本中（2018/02月，寒假期间），运行三个节点，集群配置情况如下：

节点名称	IP	CPU Core	RAM	DISK	集群组件
heron01	192.168.251.136	i7(4core)	4G	25G	heron, zookeeper, aurora master, mesos master, hdfs, heron core binary
heron02	192.168.251.136	i7(4core)	1G	20G	zookeeper, aurora slave, mesos agent, hdfs
heron03	192.168.251.136	i7(4core)	1G	20G	zookeeper, aurora slave, mesos agent, hdfs

在该次集群搭建过程中所解决的问题：

完成一些集群中的基础配置：

• Ubuntu16.04 配置集群SSH无密码登录
• Ubuntu16.04常用操作和命令
• Heron单节点环境搭建

 

完成zookeeper集群的搭建工作（至今zookeeper的集群配置教程仍基于该次集群搭建过程），了解和掌握了zookeeper的简单原理和使用方法。zookeeper的配置和运行时独立的，zookeeper的使用也是集群正常工作的基础。

• Ubuntu16.04安装配置使用Zookeeper集群

完成mesos命令安装和编译安装的两种安装方式。完成mesos集群的配置操作，并可以正常使用。mesos是aurora的运行基础，重要的：了解和熟悉了aurora如何配置到mesos进行使用。主要通过配置文件的修改和配置。

• Heron集群中编译方式安装配置Mesos集群
• Ubuntu16.04 使用apt-get命令安装Mesos
• Mesos集群的两种启动方式

完成hdfs集群的配置操作，并可以正常使用。

• HDFS在Heron集群中的配置和使用

完成aurora-scheduler和aurora-observer/executor服务的安装配置工作，了解了aurora在mesos集群管理器中的基本配置和使用方法，但因为heron topology提交失败，因此存在一定的疑问和问题，有待解决。

完成在master主机中heron的安装工作，更重要的是，了解和熟悉了heron如何部署到上述各个集群组件中运行。

未解决的问题：

• 在zookeeper集群，hdfs集群，mesos集群安装配置成功之后，heron topology提交失败。原因需要查清。
• aurora如何配置运行在mesos之上，仍需要阅读mesos和aurora documents，解决这部分问题。
• 本地笔记本性能所限，如何在实验室环境中，搭建可以使用的heron集群环境。

第二次集群配置

第二次为实验室多计算机环境搭建，也是目前正在使用的集群。该集群使用四台计算机，分别当作三个节点，具体的配置信息如下。

节点名称	IP	CPU Core	RAM	DISK	集群组件
heron04	218.195.228.52	i5(4core)	5G	2G	heron, zookeeper, aurora master, mesos master, hdfs, heron core binary
heron05（dead）	218.195.228.31	i7(4core)	5G	20G	aurora slave, mesos agent, hdfs
heron06	218.195.228.12	i3(4core)	5G	20G	aurora slave, mesos agent, hdfs
heron07	218.195.228.43	i7(4core	5G	20G	aurora slave, mesos agent, hdfs

在第二次集群搭建的过程中，并不是简单的对之前heron01-03主机的克隆和复制，而是重新对集群进行安装和配置，最终完成了该次集群的配置过程。并可以正常使用。

完成的内容：

解决在重新安装配置集群过程中遇到的新问题：

• Aurora scheduler安装遇到的问题

解决遗留的aurora和mesos的配置问题，同时也是解决aurora agents节点连接找不到（实为thermos-observer的配置和启动问题）：

• Aurora Scheduler and Thermos的安装和配置
• Aurora thermos_observer的配置与启动

成功提交heron拓扑，完成heron集群的配置工作：

• Heron高可用集群环境搭建
• 成功启动集群-解决“Regular plan unhealthy!” 问题
• Heron集群运行详情

使用IntelliJ IDEA创建heron project，编写自定义的heron topology并编译提交：

• Windows: 尝试使用IntelliJ IDEA提交Heron Topology
• Ubuntu16.04安装Intellj IDEA
• Linux: 使用IntellJ IDEA导入heron-java-streamlet-api-example-master开源项目

总结heron集群搭建过程中，常用的命令和常见的错误问题：

• Heron集群常用命令
• Heron集群搭建常见问题
• 启动Heron集群的常用命令

在原有集群的基础上，扩大集群规模的解决：

• 快速添加Heron集群Slave节点配置
• Heron集群从零加入新节点（Slave）操作

待解决的问题：

• heron topology的资源需求设置问题。（修改后提交拓扑，并没有改变）
• heron-ui打开缓慢（甚至打不开）的问题。
• 增大集群规模，和新实验室环境的集群搭建问题。
• 增加集群中mesos-master节点的问题。
• 。。。

上述问题均已经解决。2019/11/09