从头开发一个大数据管理平台-Mybari（一）

背景

因为众所周知的原因，cloudera和hortonworks两家巨头决定不再继续卷下去了，要开始联手割用户的韭菜了。于是就带来了一个问题，还要不要继续使用hdp或者cdh呢？cdh依然有着100个节点的限制，hdp也不再更新。开源大数据组件的新特性使用不上，还得提心吊胆的怕接收到对方的律师函，真是够了。
虽然各个大厂都有自己的大数据平台，但是目前都没有开源出来，现状暂时还能用，但未雨绸缪嘛，管理平台毕竟是我们大数据运维吃饭的东西，早晚都得自己有一套。刚好公司最近也在开发一个自动部署平台，但是功能仅仅是部署，主要用于向客户交付我们的产品，架构设计虽然也是C-S架构，但是它是一个客户一个client，感觉有些诡异。于是就萌发了想自己开发一套大数据集群管理平台的想法，针对自己运维中遇到痛点，结合使用过Ambari和CM过程中的优点，从头开始造一个轮子。为了向开源老前辈致敬，这里就叫Mybari吧，算是蹭一波余热。

功能分析

简单归纳了一下，Ambari和CM的几个功能，主要是以下几个

• 安装包管理：管理各组件的安装包，包括安装、卸载、升级、兼容性建议等；
• 配置管理：展示修改各组件的配置；
• 服务启停：启动、停止、滚动重启等
• 主机管理：主机状态查看、分组管理等
• 日志查看：记录操作日志并异步查看
• 监控告警：展示监控数据，必要时可以配置告警
  

技术选型

server端：springboot
client端：golang
web端：Vue或react（看react学到什么程度，学不会的话就vue-admin-template走起。。。）

功能特色

• 不绑定具体的组件版本，全部使用开源，仅提供版本建议，可参考hdp中的版本
• 所有大数据组件以插件的形式集成到框架中来，实现最低成本集成其他组件，实现服务启停
• 不内置监控功能，依赖prometheus和grafana完成监控
• ……（后面想到再更新）

时间安排

对自己的勤快程度没有什么自信……，所以时间暂定一年吧。
11月-1月 完成Server端开发
2-4月 完成Client端开发和联调
4-6月 实现通过api操作完成zookeeper hdfs yarn hive的部署
7-9月 完成前端开发与联调
10月 实现通过页面自动化部署所有大数据服务

未来演进

• 集成kerberos认证和ranger授权
• ……（后面想到再更新）

下一篇

从头开发一个大数据管理平台-Mybari（二）-数据库设计