大数据平台的选择

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zhengzhoudaxuewang/article/details/78824786

         接触大数据已经有将近3个年头了,从最开始的Apache系列开源开始研究学习,到后来接触过华为的大数据平台,但是华为的大数据平台是收费的,所以最终选择了免费的CDH集群,周末没事突然想对比一下市面上的大数据平台。

         目前Hadoop有不少发行版:华为发行版 收费 、Intel发行版 收费 、Cloudera发行版(Cloudera’sDistribution Including Apache Hadoop,简称 CDH ) 免费 、Hortonworks发行版(HortonworksData Platform,简称 HDP ) 免费 等,所有这些发行版均是基于ApacheHadoop社区版衍生出来的。所以对比之后可以免费使用的就是开源的版本,CDH和HDP啦。

         首先说一下开源的Apache产品,毕竟是开源,所以大家在学习阶段大部分还是依托于开源的产品,这样的好处是可以锻炼自己掌握常用的命令。但是呢,任何事情都有两面性,开源的产品并没有良好的界面操作,所以自己在开发测试阶段还可以用一下开源的产品,在生产中我们需要对集群进行监控,所以会选择功能更加强大的CDH或者HDP产品。

         我们当时在选择大数据平台时,曾经跟华为进行过交流,华为的大数据平台产品是FusionInsight,功能各方面跟主流的大数据平台产品类似,有一点就是收费产品,所以最终还是没有选择,经过最终的调研,最后选择了Cloudera的产品。

         下次会把当时安装CDH的文档发表一下。刚刚使用时也会遇到各种问题,不过最终都解决了。

 最后是个人简介:   
个人就职于世界500强前5的国有企业,从事大数据,云计算,人工智能方面的研究和开发工作,个人比较喜欢开源,所以努力把自己工作中遇到的问题以博客的形式保存下来反馈

于互联网,如果大家比较感兴趣可以加QQ群688281396进行交流。

展开阅读全文

没有更多推荐了,返回首页