cloudera manager5.12版本更新信息

Apache Hive/Hive-on-Spark

1.Hive on MapReduce2/Spark同时支持Microsoft Azure Data Lake Store (ADLS)。你现在可以用Hive on MapReduce2 and Hive-on-Spark读写存储在ADLS上的数据。具体请参考：Configuring ADLS Connectivity
2.Cloudera Manager现在集成了Hive的schematool，你可以使用它来更新或验证Hive metastore里的schema信息。具体请参考：Using the Hive Schema Tool
3.HIVE-1575：通过get_json_object函数支持root level的JSON arrays，比如：
SELECT get_json_object(‘[1,2,3]’, ‘$[0]’)

Hue

Hue 4终于发布了，并且打包了很多激动人心的功能。

Hue 4新的布局

1.Apps被整合到蓝色按钮下 - 将您喜爱的设置为默认首选项(见上图的蓝色按钮“Query”)
2.顶部的搜索栏可以让你搜索已保存的查询和其他数据（Cloudera Manager顶端也有一个类似搜索栏，全局搜索框）
3.左右的辅助面板可以让你搜索和过滤schema objects
4.光标所在的位置决定要运行多个查询中的哪一个
5.新的Pig editor, Job Designer, 和Job Browser
6.从用户下拉菜单列表中访问旧的Hue3，或者中URL中删除“Hue”

默认添加Load Balancer

如果安装新的CDH/Hue，会自动安装一个Load Balancer来保证最优性能 - 它可以降低Hue服务器的负载高达90%！在旧版本中，用户需要添加一个Load Balancer角色，并且手动启用它。参考Cloudera的博文：Automatic HA
解释：
1、在崩溃、网络或主机故障时自动切换到可用的健康的hue
2、为了更好的请求性能和更多的响应性，静态文件的透明服务，（将每个页面的Web请求的平均数量从60个减少到5个;很多并发用户节省了很多花费，减少了很多的响应时间）

测试LDAP配置

在安装过程中验证你的LDAP配置，这个新功能你可以在Cloudera Manager的Hue > Actions > Test LDAP Configuration中使用。参考：Authenticate Hue with LDAP

集成Navigator Optimizer（第一阶段）

通过Hue集成Navigator Optimizer，经常使用的表，字段，关联条件，过滤条件都可以被自动填充。有风险的语句，比如在分区表上缺少过滤条件，将会触发告警。

默认启用Navigator Search & Tag

通过Hue集成Navigator，你可以搜索元数据或者给元数据打标签。只要你安装了Cloudera Navigator，这个功能默认将会开启。参考： How to Enable and Use Navigator in Hue

其他酷炫的特性

1.你可以从文件创建分区表。
2.Impala的metadata将会被自动refresh。
3.提升SQL语句自动填充的功能。
4.SSL的远程 Load balancer。
5.查询历史记录分页。

Apache Impala

以下是本次更新的Impala主要的新特性：
1.Impala现在可以读写存储在Microsoft Azure Data Lake Store (ADLS)中的数据。

注意：目前Impala的ADLS支持还在初级阶段，测试不够充分。并不建议用户直接将Impala on ADLS上生产。

2.新的内置函数
1）一个新的字符串函数，replace()，在简单字符串替换场景比以前的regexp_replace()更高效。访问 Impala String Functions查看细节。
2）一个新的条件函数，nvl2（），它比nvl()更灵活。它允许NOT NULL参数会返回一个值，NULL参数则返回另外一个值。访问Impala Conditional Functions查看细节。

3.新的语法，REFRESH FUNCTIONS db_name，让Impala识别新的自定义函数，比如通过Hive创建的UDFs。Impala扫描指定数据库的元数据以查找新的自定义函数，这比执行全局的INVALIDATE METADATA更高效也更方便。

4.Impala Daemon的启动标志，is_executor和is_coordinator,你可以将少量节点用作查询的coordinators，然后将其他大量的节点作为查询executors，这样你可以更好的为大型，高负载的集群做节点分工。旧版本中，每个节点可以同时扮演这两个角色(既是executor，又是coordinator，coordinators会随机从Impala Daemon中挑选)，这往往是大量并发的工作负载的瓶颈。详情请参考： Controlling which Hosts are Coordinators and Executors

5.新的查询模式选择，DEFAULT_JOIN_DISTRIBUTION_MODE，对于一些没有统计信息的表，可以更改默认的关联方式。这可以避免join查询的内存不足，而不用手动的在缺少统计信息的大表语句中添加/* +SHUFFLE */提示。

6.SORT BY语法可以在你创建Parquet文件时，使用更高效的压缩方式以及为一些特定字段的值指定更小的范围，从而允许Impala以更优化的方式跳过从Parquet文件中读取一些数据，这些数据不在WHERE的条件范围内。访问CREATE TABLE Statement查看细节。

7.Kudu提升
1）ALTER TABLE语句可以使用ADD COLUMNS子语句为Kudu表指定更多的属性。包括[NOT] NULL, ENCODING COMPRESSION, DEFAULT, 和BLOCK_SIZE。访问ALTER TABLE Statement查看细节。
2）Kudu现在支持TIMESTAMP类型。
注意：在使用这种数据类型时可以参考 Handling Date, Time, or Timestamp Data with Kudu了解关于性能和使用方便的折衷/妥协。为了高性能，你可能仍然需要继续使用BIGINT，对于date/time的值。
3）优化通过INSERT和CREATE TABLE AS SELECT语句写数据到Kudu的表。旧版本在单个操作写入大量数据时，写操作的开销可能会导致超时。

Apache HBase

1.Apache HBase现在支持ADLS存储。
2.如果不是云部署，通过更新token，HBase现在支持长期运行的Spark应用。

Apache Spark

Spark现在可以读写存储在Microsoft Azure Data Lake Store (ADLS)中的数据。访问 Accessing Data Stored in Azure Data Lake Store (ADLS) through Spark查看细节。