最新的HDinsight中,引入了
Apache Hive 2.1。 由于Hive on LLAP的新特性,可以使Hive基于PB级别的海量数据进行交互式的即席分析。这样很多基于Hive开发的应用不需要改变原有代码的条件下,性能就会有质的飞跃 。以下是一个与传统Hive性能基于TCPDS测试基准的一个比较
除了性能提升外,由于引入了更精细化的资源管理能力,使得 Hive on LLAP可以支持更多的并发访问。HDinsight允许多个计算集群访问相同的数据集合,近一步放大了这种并发能力。这样,不同的用户群体,可以使用不同的工具,比如 PowerBI, Tableau, Excel, Hive View 2.0, Beeline, Hive CLI, Visual Studio, Zeppelin等等,基于相同数据集合去完成自己的海量数据分析需求
Hive on LLAP还可以 利用SSD和RAM做为Cache进行加速,支持更多用户的并发访问。Azure HDinsight已经内置了SSD做为Cache,不需要用户付出额外成本
不同集群在Azure上共享相同数据集合,避免不同负载之间的资源竞争,也避免了数据复制的额外存储开销和性能开销
对于企业来说,大数据平台的安全性也至关重要,HDinsight的交互式查询可以和AAD集成在一起,只有经过认可的用户才可以访集群中的数据。结合Ambari和 Azure Log Analytics监控集群和进行事后分析,提高整体安全性
![TPCDS.png](https://github.com/ashishthaps/pics/raw/master/TPCDS.png)
除了性能提升外,由于引入了更精细化的资源管理能力,使得 Hive on LLAP可以支持更多的并发访问。HDinsight允许多个计算集群访问相同的数据集合,近一步放大了这种并发能力。这样,不同的用户群体,可以使用不同的工具,比如 PowerBI, Tableau, Excel, Hive View 2.0, Beeline, Hive CLI, Visual Studio, Zeppelin等等,基于相同数据集合去完成自己的海量数据分析需求
Hive on LLAP还可以 利用SSD和RAM做为Cache进行加速,支持更多用户的并发访问。Azure HDinsight已经内置了SSD做为Cache,不需要用户付出额外成本
![Richqueryinteractivehive.png](https://github.com/ashishthaps/pics/raw/master/Richqueryinteractivehive.png)
不同集群在Azure上共享相同数据集合,避免不同负载之间的资源竞争,也避免了数据复制的额外存储开销和性能开销
![arch.png](https://github.com/ashishthaps/pics/raw/master/arch.png)
对于企业来说,大数据平台的安全性也至关重要,HDinsight的交互式查询可以和AAD集成在一起,只有经过认可的用户才可以访集群中的数据。结合Ambari和 Azure Log Analytics监控集群和进行事后分析,提高整体安全性
![security.png](https://github.com/ashishthaps/pics/raw/master/security.png)
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/25548387/viewspace-2146194/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/25548387/viewspace-2146194/