CDH最佳实践 简单说说Hadoop发行版

前面几篇说了些关于Hadoop基础的东西,包括Hadoop是什么,Hadoop常见组件之类的。下面我们来讨论一个问题。假设我们需要做一个项目,里面需要用到Hadoop,HDFS,Spark,Hive,HBase这些组件,还要用一个类SQL查询的工具。那么,我们要如何满足这个需求呢?

当然,最直接的做法,飞奔去各大网站,下各个组件,各种配置,慢慢调整,恭喜发财,祝您胃口好。如果你能够在配置一次以后,形成自己的安装包,做一键启动,那您更有才了,真犀利啊!

当然,如果你又做了一个WEB的图形化界面,哇塞,好厉害好漂漂哦~不过那个类SQL的工具您也自己做了的话。。。

那你来看我文章干毛线?

我是个懒人,从来不造轮子,除非轮子不好用。另一方面,世上每一个能生财的地方一定有人去做,比如Hadoop的整体打包再发布。我们能想到,别人也能想到,于是世界上有了一个叫CDH的东西,也有个叫Hortonworks的东西。他们都是经过第三方机构整合、挑选并包装和增强的Hadoop发行版套装。两家对Hadoop都有所增强,并有部分收费支持的项目。

那么问题来了,我们要选哪个呢?我选CDH。要问我为啥,我会告诉你Intel这么大的财力物力人力都不继续开发自己的IDH了,转投CDH了么?无论为啥,Intel的选择就是对的。如果CDH不是真的好,Intel怎么可能投入这么大的精力去做这个事呢,对不对呢?

回答一下一位同学的疑问。Spark是不是只有CDH才有?答案是,不,Spark属于全人类。只不过CDH让我们有了不必太关注底层安装细节的特权。安装CDH,你不用知道Hadoop装在64位平台上要编译jar包这种事,也不用去管Spark和Hadoop整合的细节问题。你只要有一个高速的网络就行了。又或者,你看完tarball安装指南,照着做一次也就可以了。

感谢懒惰的人类,让世界更美好。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值