hive decode 支持版本_2019年的第一次重要升级:OushuDB 3.3完整支持TPCH,性能提升510倍...

2019年2月21日,OushuDB 发布 3.3.0.0版本。相较于3.1.2.1版本,本次更新增加了以下主要内容:

  • 新执行器完整支持TPC-H 22个query

  • 新执行器新增对SQL Function的支持

  • 新执行器新增对PL/pgSQL的支持

  • 新执行器支持Hash分布的可插拔存储

  • 新执行器支持insert语句

  • 新执行器支持Coalesce, Distinct表达式

  • 新执行器新增函数的支持,包括decode, round, sign, substr, upper和lower

  • Orc的BloomFilter支持基于列的打开关闭选项

  • Orc格式新增支持decimal, timestamp with time zone数据类型

  • 优化了Orc格式老执行器查询性能

  • hdfs协议可插拔存储支持kerberos认证

  • 新增Hive协议使用的用户权限设置

OushuDB 3.3.0.0基于SIMD技术实现的全新执行器目前已经完整支持了TPC-H 22个query语句,性能上取得了领先老执行器 5-10倍的优势,可以提供PB级数据交互式查询。

同时新增了多种表达式,函数以及数据格式的支持,使得新执行器适用的场景更加的广泛。此外进一步优化了ORC格式老执行器的查询能力,性能已经全面领先parquet格式,对新执行器不适用场景是一个很好的补充。

e05659663c949160479fb83426d296ea.png

新老执行器对比测试

这里我们分别来看一下标准的TPC-H Q17在新老执行器下的表现,我们载入了10G的TPC-H数据,在单节点上运行

e729fb74d496761541b4348e29279a46.png

通过explain我们可以看到这条语句走了HashJoin,底下红框里显示这个plan可以走新执行器

da05439d34257c88ecf7eb839bb19fd4.png

这是新执行器的运行时间:

c4fd69f7572273dc25f39e7e92230fe6.png

设置new_executor为off,切换到老执行器运行:

2b1a34bbe421a76d0ffac86d799b639b.png

大家可以看出,新老执行器上性能的巨大差异。

9eeb4174185c6fc67e8cd4171ebdd067.png

 d4ffb9b6dca4701129af062b4e0f627f.gif

更多新闻请点击:

图书《数据之翼》发布 偶数科技数据库OushuDB被收录

“取之于开源,用之于开源”偶数科技应邀参加2018中国开源年会

偶数反洗钱案例荣获金融科技创新大赛优胜奖

国人主导研发的HAWQ®数据库成为Apache®顶级项目

05aa45edb9d4ec6ce755235519d3dc06.png

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值