Cloudera的CDH和Apache的Hadoop的区别

最新推荐文章于 2022-03-14 21:03:14 发布

jajavaja

最新推荐文章于 2022-03-14 21:03:14 发布

阅读量6.1k

点赞数 1

分类专栏：运维

运维专栏收录该内容

27 篇文章 0 订阅

订阅专栏

http://wenku.baidu.com/link?url=x9xRWvuZuUMFKgN9McNY4DSAGXCi3dlUFMtnDE-Lg39_VeOUgUkm9L_1M4g1JID6vtVxO8jfvizkmZADdlpuEOo5ICEF_M92Eo9uB2fhmE_

目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称“HDP”），对于国内而言，绝大多数选择CDH版本，CDH和Apache版本主要区别如下：
（1） CDH对Hadoop版本的划分非常清晰，只有两个系列的版本，分别是cdh3和cdh4，分别对应第一代Hadoop（Hadoop 1.0）和第二代Hadoop（Hadoop 2.0），相比而言，Apache版本则混乱得多；比Apache hadoop在兼容性，安全性，稳定性上有增强。
（2）CDH3版本是基于Apache hadoop 0.20.2改进的，并融入了最新的patch，CDH4版本是基于Apache hadoop 2.X改进的,CDH总是并应用了最新Bug修复或者Feature的Patch，并比Apache hadoop同功能版本提早发布，更新速度比Apache官方快。
(3)安全 CDH支持Kerberos安全认证，apache hadoop则使用简陋的用户名匹配认证
(4)CDH文档清晰，很多采用Apache版本的用户都会阅读CDH提供的文档，包括安装文档、升级文档等。
(5)CDH支持Yum/Apt包，Tar包，RPM包，Cloudera Manager四种方式安装,Apache hadoop只支持Tar包安装。
注：CDH使用推荐的Yum/Apt包安装时，有以下几个好处：
1、联网安装、升级，非常方便
2、自动下载依赖软件包
3、Hadoop生态系统包自动匹配，不需要你寻找与当前Hadoop匹配的Hbase，Flume，Hive等软件，Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包，并保证兼容性。
4、自动创建相关目录并软链到合适的地方（如conf和logs等目录）；自动创建hdfs, mapred用户，hdfs用户是HDFS的最高权限用户，mapred用户则负责mapreduce执行过程中相关目录的权限。
参考文档：
http://www.infoq.com/cn/articles/hadoop-ten-best-practice
http://heipark.iteye.com/blog/1182466
http://dongxicheng.org/mapreduce-nextgen/hadoop-distribution-selection/