简介
Cloudera和Hortonworks两家公司合并后,CDH、HDP也合并成了CDP,并且不再开源。市面上可用的免费开源大数据平台瞬间没有了,对于我们来说要么花钱买平台,例如CDP、华为FI、阿里EMR等等,要么用Apache原生组件自行搭建和维护平台。说实在的,两个方案都不是很友好,还是期待开源社区能提供一个集成的发行版本。
Ambari今年经历一个跌宕起伏的过程:2月项目退役->6月项目重启。重启后Amabri项目与BigTop项目进行了合作,准备共同推出新的免费开源大数据平台:Ambari还是负责集群管控,BitTop提供组件栈。目前正在开发中,进展还算可以,预计年底或者明年初就会正式发布了。
BigTop、HDP比较
序号 | 组件 | HDP3.1.5版本 | BTGTOP3.2.0版本 |
1 | HDFS | 3.1.1 | 3.3.4 |
2 | YARN | 3.1.1 | 3.3.4 |
3 | MapReduce | 3.1.1 | 3.3.4 |
4 | Tez | 0.9.1 | 0.10.1 |
5 | Hive | 3.1.0 | 3.1.3 |
6 | Phoenix | 5.0.0 | 5.1.2 |
7 | HBase | 2.0.2 | 2.4.13 |
8 | Pig | 0.16.0 | |
9 | Sqoop | 1.4.7 | |
10 | Oozie | 4.4.0 | 5.2.1 |
11 | Zookeeper | 3.4.6 | 3.5.9 |
12 | Storm | 1.2.1 | |
13 | Accumulo | 1.7.0 | |
14 | Atlas | 1.1.0 | |
15 | Kafka | 2.0.0 | 2.8.1 |
16 | Knox | 1.0.0 | |
17 | Ranger | 1.2.0 | 2.3.0 |
18 | Spark | 2.3.0 | 3.2.1 |
19 | Zeppelin | 0.8.0 | 0.10.1 |
20 | Druid | 0.12.1 | |
21 | Superset | 0.23.0 | |
22 | Solr | 8.11.2 | |
23 | Flink | 1.15.0 | |
24 | Alluxio | 2.8.0 | |
25 | GPDB | 5.28.5 |
我整理了一下两者版本和组件的差异,由上图可见,BigTop在组件类型上抛弃了一些过时的组件,如Pig、Sqoop、Storm等;引入了一些新组件,如Flink;安全组件对比HDP有些缺失,如knox。在组件版本上,都比HDP的要新。总体来说核心组件都是有的。
安装步骤体验--和hdp几乎一致
1.操作系统的基本配置
2.内网yum源搭建
3.安装配置ambari-server
4.页面组件安装
管理界面体验--和hdp几乎一致
当前开发版小结
发现的问题
1.ranger组件无安装界面
2.安装hbase时没有phoenix安装选项
3.ambari本身自带的监控、日志搜索组件开发进展稍慢、本次没有编译和安装
总结
当前版本还在开发中,已经基本可用,功能还在不断完善,相信正式版本发布的时候,体验会更好。