小荷才露尖尖角,早有蜻蜓立上头,在这个万物生发的季节,openLooKeng迎来全新版本的升级,在openLooKeng开发团队和社区开发者共同努力下, openLooKeng v1.6.0新版本正式发布,新版本1.6.0在原基础上进行了一些优化,并提供一些新功能,来提升引擎性能。
新版本1.6.0在数据持久化、低时延、连接器、Task Recovery等方面做出了优化,无论是性能提升、可靠性、还是创新方面,都是干货满满。下面就带大家快速浏览openLooKeng新版本1.6.0的关键特性。
1.数据持久化
对于数据持久化,新版本1.6.0做了如下一些优化:
特性名称 |
场景介绍 |
|
优化计算过程数据下盘速度和大小 |
当在HashAggregation(聚合算法)和GroupBy(分组)期间发生溢出时,序列化到磁盘的数据会很慢,而且大小也会更大。因此可以通过减小大小和提高写入速度来提高整体性能。使用kryo序列化可以提高速度并减小溢出写盘文件大小 |
|
支持溢出到hdfs上 |
目前计算过程数据可以溢出到多个磁盘,现在支持溢出到hdfs以提高吞吐量 |
|