CDH4.5.0 新特性

最新推荐文章于 2022-07-28 22:32:37 发布

weixin_34388207

最新推荐文章于 2022-07-28 22:32:37 发布

阅读量87

点赞数

文章标签：后端 ldap 大数据

原文链接：https://yq.aliyun.com/articles/25823

版权

Apache Flume

FLUME-2190 - 引入一个新的Twitter firehose的feed源
FLUME-2109 - HTTP输入源支持HTTPS.
FLUME-1666 - 系统日志的TCP源现在可以保持时间戳和处理领域中的事件主体.
FLUME-2202 - AsyncHBaseSink can now coalesce increments to the same row and column per transaction to reduce the number of RPC calls
FLUME-2189 - Avro Source can now accept events from a restricted set of peers
FLUME-2052 - Spooling Directory Source can now ignore or replace malformed characters.
Flume自动检测Cloudera Search依赖。

Memory Channel calculates byte capacity usage on transaction commits instead of puts to improve performance

新增支持非Kerberos身份验证HiveServer2和JDBC客户端之间的SSL加密通信,请见Configuring Encrypted Client/Server Communication for non-Kerberos HiveServer2 Connections

HDFS访问追踪：当mapreduce.job.token.tracking.ids设置为true时，MRv1任务根据持有的HDFS访问凭证来访问HDFS上的数据。而且，当MRv1其访问数据数据时HDFS日志会记录其访问信息。
堆栈跟踪的任务超时：为了便于调试，当MR任务超时时会累记其堆栈信息.
KeyOnlyTextInputWriter 和KeyOnlyTextOutputReader使工作流不使用分隔符即可写入/读取文本.

HDFS访问追踪：当mapreduce.job.token.tracking.ids设置为true时，MRv1任务根据持有的HDFS访问凭证来访问HDFS上的数据。而且，当MRv1其访问数据数据时HDFS日志会记录其访问信.
KeyOnlyTextInputWriter 和KeyOnlyTextOutputReader使工作流不使用分隔符即可写入/读取文本.
公平调度器现在可以不用受节点心跳检测的判断影响，从而可以更快的调度

Hive Metastore服务的访问可以不受IPTables的限定。在HiveServer2和ImpalaD运行的用户必须要首先在core-site.xml中配置，然后才可以访问Hive Metastore服务。例如，hivemetastore 是Hive Metastore服务的用户。hive和impala分别是运行HiveServer2 和 ImpalaD不同用户。按如下的配置，这些用户将被允许访问Hive Metastore服务.

<property>
    <name>hadoop.proxyuser.hivemetastore.groups</name>
    <value>hive，impala</value>
</property>

Sentry现在已经集成到Cloudera Search中，配置方法请参考： Configuring Sentry for Search

关注