CDH5新特性及Bug修复

1、  Cloudera建议使用YARN（目前已经可以用于生产环境）。

2、  CDH5不再支持JDK1.6，必须按照JDK1.7.（1.7.0_45）且只有64位包，无32位包。

 

仅列出常用的组件：HDFS，HBASE，MAPREDUCE

5.0.0版本

1、Hbase

（1）Hbase-0.960 JMX 内RegionServer列表恢复被取消了

 

3、  HDFS

（1）      新特性：增加HDFS文件权限控制列表，支持ACL。

（2）      新特性：HDFS内被动读改进了 Hbase MTTR 

（3）      bug改进：安全模式下，WebHDFSURI 不接受逻辑命名

（4）      bug改进：在秘钥认证情况下，NFS网关依然允许登陆和重新登陆。

（5）      bug改进：如果任意一个目录有粘性位设置的话，Namenode UI 的浏览文件系统功能不能工作。

（6）      DataNode心跳线程能够陷入紧张的循环。

4、  Mapreduce & YARN

（1）、新特性：FairScheduler支持正查询时移动正在允许的应用。

（2）、bug改进：几个关键问题的解决加强了ResourceManager HA稳定性。

（3）、bug改进：mapreduce.task.io.sort.mb.支持更大的值。

CDH 5 Beta 2版本

1、  Hbase

（1）、支持在线Schema改变

（2）、支持在线Region合并

（3）、MTTR进一步改进

2、HDFS

（1）、 新特性：HDFS HA情况下可以直接升级，如果使用journalnode（Quorum-based storage），CDH5版本内只支持Quorum-based storage 主备，NFS共享存储将不再支持。

（2）、新特性：CDH5beta2 支持HDFS集中缓存管理，这个是主要改进的地方。

（3）、主要bug改进：WebHDFS兼容性问题。

（4）、主要bug改进：解决了DFSInputStream#getBlockReader内socket 泄露问题。

（5）、主要bug改进：dfs.encrypt.data.transfer 可用时Short circuitreads失败问题。

（6）、主要bug改进：在数据块缺失报告处理时可能导致数据丢失问题。

（7）、配置改变：为了使NameNode能够在secure集群模式下成功开启，必须在hdfs-site.xml配置文件内添加dfs.web.authentication.kerberos.principal属性。

（8）、配置改变：激活NameNode必须触发自己的日志文件回滚。NameNode安全模式下，客户端现在将重试配置时间。

（9）、CDH5 Beta2内，mkdir命令已经改变了。如果父目录不存在，必须添加-p参数，否则命令将失败。

3、Mapreduce & Yarn

（1）FairScheduler（MRv1和YARN）支持高级配置，自动存放队列中的应用。

（2）、Mapreduce支持在uber模式和本地job运行模式下运行多个reducer。