1 集群管理工具选型
1.1 什么是CDH,ambari?
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。Ambari能够安装安全的(基于Kerberos)Hadoop集群,以此实现了对Hadoop 安全的支持,提供了基于角色的用户认证、授权和审计功能,并为用户管理集成了LDAP和Active Directory。
CDH(Cloudera’s Distribution, including Apache Hadoop)是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,他提供了Hadoop的核心:可扩展存储,分布式计算;基于Web的用户界面
CDH的优点:版本划分清晰;版本更新速度快;支持Kerberos安全认证;文档清晰;支持多种安装方式(Cloudera Manager方式
1.2 为什么需要他们
• 1000台服务器的集群,最少要花费多长时间来搭建好Hadoop集群,包括Hive、Hbase、Flume、Kafka、Spark等等
• 只给你一天时间,完成以上工作?
• 对于以上集群进行hadoop版本升级,你会选择什么升级方案,最少要花费多长时间?
• 新版本的Hadoop,与Hive、Hbase、Flume、Kafka、Spark等等兼容?
大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。
手工部署,需配置太多参数,但是,好理解其原理,建议初学这样做,能学到很多。该方式啊,均得由用户执行,细节太多,切当设计多个组件时,用户须自己解决组件间版本兼容问题。
工具部署,比如Ambari或Cloudera Manger。(当前两大最主流的集群管理工具,前者是Hortonworks公司,后者是Cloudera公司)使用工具来,可以说是一键操作,难点都在工具Ambari或Cloudera Manger本身部署上。
手工和工具的比较
考察项 | 手工方式 | 工具方式 |
---|---|---|
难易度 | 难,几乎不可能成功 | 简单,易行 |
兼容性 | 自己解决组件兼容性问题 | 自动安装兼容组件 |
组件支持数 | 支持全部组件 | 支持常用组件 |
优点 | 对组件和集群管理深刻 | 简单、容易、可行 |
缺点 | 太复杂,不可能成功 | 屏蔽太多细节,妨碍对组件理解 |
结论:我们需要像CDH和ambari这样的工具
两者技术比较
工具名 | 所属机构 | 开源性 | 社区支持性 | 易用性、稳定性 | 市场占有率 |
---|---|---|---|---|---|
Cloudera Manger | Cloudera | 商用 | 不支持 | 易用、稳定 | 高 |
Ambari | Hortonwork | 开源 | 支持 | 较易用、较稳定 | 较高 |
从各方面考虑:
选用CDH
抛弃ambari,但是介绍一个博客给想了解的朋友们:Ambari部署hadoop完全分布式集群
主要是一个群友说:Yarn老挂掉,稳定性不够高
既然CDH选型已经ok,那么下篇博客将讲述CDH的调研,以及技术栈的选型。
好了,文章分节上传如下:亲测可用,如果有问题,联系18192015917(叫我:涵哥,白哥,帅哥。。都行)