相比于手动搭建集群,使用Ambari或者CDH的必要性_比cdh还好的集群服务(1)

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供：

因篇幅有限，仅展示部分资料

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

• 1000台服务器的集群，最少要花费多长时间来搭建好Hadoop集群，包括Hive、Hbase、Flume、Kafka、Spark等等
• 只给你一天时间，完成以上工作？
• 对于以上集群进行hadoop版本升级，你会选择什么升级方案，最少要花费多长时间？

• 新版本的Hadoop，与Hive、Hbase、Flume、Kafka、Spark等等兼容？

大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。

手工部署呢，需配置太多参数，但是，好理解其原理，建议初学这样做，能学到很多。该方式啊，均得由用户执行，细节太多，切当设计多个组件时，用户须自己解决组件间版本兼容问题。

工具部署呢，比如Ambari或Cloudera Manger。（当前两大最主流的集群管理工具，前者是Hortonworks公司，后者是Cloudera公司）使用工具来，可以说是一键操作，难点都在工具Ambari或Cloudera Manger本身部署上。

手工方式和工具方式比较：

4. Cloudera Manager与Ambari的比较

详细对比情况如下：

4.1. 出版商

hortonworks研发了Ambari和hdp的大数据分析集成平台
cloudera研发了cloudera manger和cdh大数据分析集成平台

4.2. 稳定性

cloudera相对来说比较稳定
ambari相对来说不稳定(页面打开速度慢)

4.3. 资源消耗

cloudera manager的server端Xmx是2G,agent是1G,但是有host monitor和service monitor总共大概1G
ambari的server端Xmx是2G,metric的ams和hbase的env大概也就是2G

4.4 集群重启

cloudera支持滚动重启(hdfs需要设计成ha,才能滚动重启)
ambari支持滚动重启(hdfs需要设计成ha,才能滚动重启)

4.5. 二次开发

cloudera不支持
ambari支持

4.6. 服务版本

cloudera较老
ambari较新

4.7. 服务集成性

cloudera较弱
ambari较强,支持es、redis、presto、kylin等

4.8. 体验效果

cloudera好
ambari相对差

4.9. 安装过程

cloudera复杂
ambari简单

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！