【Doris Weekly】2020.03.08~2021.03.21

Apache Doris 在2021年3月8日至3月21日期间进行了多项更新,包括新增支持多字节行列分隔符、压缩格式文件导入、Export导出功能优化等。同时修复了数据丢失、查询统计错误等多个问题,并对性能进行了改进,如内存管理和查询效率提升。
摘要由CSDN通过智能技术生成

观众朋友们:

 

下午好!

今天是2021年03月22日星期一,农历二月初十。又是一年赏樱好时节,春风与Doris向您问好~

欢迎收看【Doris近日要闻】~本次为您带来的是2021年03月08日~2021年03月21日的双周总结。

 

 

                                  

  01 统计数据

共有18位作者提交了43个Commit。感谢以下作者的贡献:

Zhengguo Yang, Mingyu Chen, stdpain, HappenLee, caiconghui, Yingchun Lai, Cheng Pan, zhangboya1, xxiao2018, zhuixun, xy720, wangbo, shiyi23, Xiang Wei, Ting Sun, EmmyMiao87, Amos Bird, 924060929

最近2周,共修改新增代码行5232,删除代码行1225

 

 

 

 

02 主要进展

2.1   新增功能

  • https://github.com/apache/incubator-doris/pull/5462

    https://github.com/apache/incubator-doris/pull/5524

    支持导入文本格式文件时,指定多字节行列分隔符或不可见分隔符

  • https://github.com/apache/incubator-doris/pull/5463

    支持通过StreamLoad导入压缩格式文件。

  • https://github.com/apache/incubator-doris/pull/5445

    支持Export导出功能指定where过滤条件。支持导出文件使用多字节行列分隔符。支持导出到本地文件。

  • https://github.com/apache/incubator-doris/pull/5489

    支持通过outfile语句导出结果集到本地磁盘,并支持导出后写入导出成功的标记文件。

  • https://github.com/apache/incubator-doris/pull/5475

    支持在命令行使用可视化的树形结构展示查询计划和查询Profile。

 

2.2   Bug修复

  • https://github.com/apache/incubator-doris/pull/5473

    修复执行Backup作业可能导致数据丢失的问题。

  • https://github.com/apache/incubator-doris/pull/5347

    修复在SQL中包含limit时,查询统计结果有误的问题。

  • https://github.com/apache/incubator-doris/pull/5484

    修复创建逻辑视图的语句中,字符串常量包含单引号时解析错误

  • https://github.com/apache/incubator-doris/pull/5478

    修复在检查表数据是否健康的逻辑中,一些线程安全的问题。

  • https://github.com/apache/incubator-doris/pull/5425

    修复HLL列类型在某些场景下导致BE宕机的问题。

  • https://github.com/apache/incubator-doris/pull/5391

    修复某些情况下,回放colocation group元数据导致空指针异常的问题。

  • https://github.com/apache/incubator-doris/pull/5504

    优化文件写入时的内存使用,避免可能的大量占用内存的情况。

  • https://github.com/apache/incubator-doris/pull/5491

    修复Schema Change逻辑中可能的内存泄露问题。

  • https://github.com/apache/incubator-doris/pull/5527

    修复某些情况下,已过期的rowset文件不会被清理的问题。

  • https://github.com/apache/incubator-doris/pull/5540

    修复部分情况下,增量clone一直失败的问题。

 

2.3   功能改进

  • https://github.com/apache/incubator-doris/pull/5459

    扩展了Bucket Shuffle Join的匹配场景,支持在更多查询场景中规划Bucket Shuffle Join。

  • https://github.com/apache/incubator-doris/pull/5455

    优化部分MemTracker的命名,增强可读性。

  • https://github.com/apache/incubator-doris/pull/5468

    支持ExchangeNode节点的多线程归并算法,提升排序查询的性能。

  • https://github.com/apache/incubator-doris/pull/5498

    优化BE端执行磁盘垃圾清理的逻辑,按磁盘使用率进行清理。

  • https://github.com/apache/incubator-doris/pull/5508

    引入ccache构建工具加速BE的增量编译速度。

  • https://github.com/apache/incubator-doris/pull/5513

    支持在查询语句中的SET_VAR注释中设置多个会话变量。

  • https://github.com/apache/incubator-doris/pull/5538

    优化ODBC的报错信息,更方便定位具体错误。

  • https://github.com/apache/incubator-doris/pull/5470

    优化ExchangeNode在本地节点交换数据的逻辑,减少不必要的网络传输和序列化、反序列化操作。

  • https://github.com/apache/incubator-doris/pull/5514

    优化HashJoinNode的内存使用和内存限制逻辑。

  • https://github.com/apache/incubator-doris/pull/5522

    支持在show proc ‘/broker’语句中显示broker节点的hostname。

 

 

 2.4   其他

  • https://github.com/apache/incubator-doris/pull/5380

    增加GCC 10的Docker编译镜像。

     

 

观众朋友们,本期的Doris一周要闻节目就播送完了。

感谢您的收看,我们下周再见!

 

【往期回顾】

Doris Weekly】2020.02.08~2021.03.07

【Doris Weekly】2021.01.25~2021.02.07

【Doris Weekly】2021.01.11~2021.01.24

 

【精彩文章】

【Doris全面解析】Doris Compaction机制解析

【遇见Doris】Doris的数据导入事务及原子性保证

【遇见Doris】Doris的数据导入事务及原子性保证

 

 

 

 

 

欢迎扫码关注:

Apache Doris(incubating)官方公众号

 

相关链接:

Apache Doris官方网站:

http://doris.incubator.apache.org

Apache Doris Github:

https://github.com/apache/incubator-doris

Apache Doris 开发者邮件组:

dev@doris.apache.org

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ApacheDoris

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值