【Doris Weekly 】2021.11.01~2021.11.13

观众朋友们：

晚上好！

欢迎收看【 Doris 近日要闻】~本次为您带来的是 2021 年 11 月 01 日 ～ 2021 年 11 月 13 日的双周总结。

• Dev 邮件组：dev@doris.apache.org

• Github Issue：https://github.com/apache/incubator-doris/issues

• 社区论坛地址：https://github.com/apache/incubator-doris/discussions

▼

1. 统计数据

共 33 位作者提交了 72 个 Commit 。感谢以下作者的贡献：

Mingyu Chen, jiafeng.zhang, wei zhao, wangyongfeng, thinker, Zhengguo Yang, HappenLee, GoGoWen, EmmyMiao87, 曹建华, xy720, wudi, qiye, pengxiangyu, ccoffline, Zhikai Zuo, Pxl, zhangstar333, zh0122, xuliuzhe, weajun, tinkerrrr, tianhui5, tarepanda1024, luozenglin, lihuigang, flynn, dh-cloud, Xinyi Zou, Userwhite, Universe, Lijia Liu, ChPi

最近 2 周，共修改新增代码行 6906 ，删除代码行 1689 。

▼

2. 主要进展

2.1 新增功能

• https://github.com/apache/incubator-doris/pull/6942

  https://github.com/apache/incubator-doris/pull/6917

  https://github.com/apache/incubator-doris/pull/6918

  https://github.com/apache/incubator-doris/pull/6912

  https://github.com/apache/incubator-doris/pull/6982

  https://github.com/apache/incubator-doris/pull/6980

  https://github.com/apache/incubator-doris/pull/6977

  新增函数：

  bitmap_and_not()

  bitmap_and_not_count()

  bitmap_subset_in_range()

  bitmap_has_all()

  bitmap_and_count()

  bitmap_or_count()

  bitmap_xor_count()

  bitmap_subset_limit()

  sub_bitmap()

• https://github.com/apache/incubator-doris/pull/6577

  FE配置参数支持通过回调函数响应参数的修改操作。

• https://github.com/apache/incubator-doris/pull/6993

  新增alter table语法支持将mysql引擎外表修改为odbc引擎。

2.2 Bug 修复

• https://github.com/apache/incubator-doris/pull/6932

  修复某些情况下schema change因内存分配失败而失败的问题。

• https://github.com/apache/incubator-doris/pull/7004

  修复Colocation plan某些情况下无法找到tablet的问题。

• https://github.com/apache/incubator-doris/pull/7026

  修复select into outfile不支持union查询语句的问题。

• https://github.com/apache/incubator-doris/pull/7013

  修复部分情况下，导入数据导致BE宕机的问题。

• https://github.com/apache/incubator-doris/pull/7022

  将DateTimeValue内存数据排列修改为原来的格式，解决因格式不兼容而导致的导入查询错误问题。

• https://github.com/apache/incubator-doris/pull/7020

  修复部分情况下，drop backend后，colocation表无法进行数据均衡的问题。

• https://github.com/apache/incubator-doris/pull/7069

  修复部分情况下，为包含物化视图的表添加分区时可能出现空指针异常的问题。

• https://github.com/apache/incubator-doris/pull/7094

  修复BE端数据导入时因引用问题可能导致的BE宕机问题。

• https://github.com/apache/incubator-doris/pull/6846

  修复partition cache无法正确处理时间格式的问题。

• https://github.com/apache/incubator-doris/pull/6934

  修复RLE编码数据页的页大小检查逻辑错误。

• https://github.com/apache/incubator-doris/pull/7061

  增加定清理过期Sync job的功能。

• https://github.com/apache/incubator-doris/pull/7085

  修复sql cache无法正确处理聚合函数包含表达式的问题。

2.3 功能改进

• https://github.com/apache/incubator-doris/pull/6962

  支持通过s3 sdk 访问某些仅支持 path-style 的对象存储系统。

• https://github.com/apache/incubator-doris/pull/6947

  优化大批量导入时，减少segment的文件数量。

• https://github.com/apache/incubator-doris/pull/6973

  支持通过spark-connector写入数据时，指定写入的列。

• https://github.com/apache/incubator-doris/pull/6974

  新增http api来获取 backend 列表

• https://github.com/apache/incubator-doris/pull/6916

  新增BE端brpc client-server检查和测试逻辑，已解决部分情况下brpc client失效导致rpc一直失败的问题。

• https://github.com/apache/incubator-doris/pull/7017

  会话变量forward_to_master的默认值修改为true。

• https://github.com/apache/incubator-doris/pull/6600

  重构FE、BE的日志打印接口，规范日志输出格式。

• https://github.com/apache/incubator-doris/pull/7050

  优化libhdfs的错误显示和写入文件的默认行为。

• https://github.com/apache/incubator-doris/pull/6986

  show routine load 结果中新增当前正在运行的子任务的事务id，方面查看子任务状态。

• https://github.com/apache/incubator-doris/pull/6885

  Spark DPP新增bitmap not() 和 xor() 函数支持。

• https://github.com/apache/incubator-doris/pull/6915

  优化集合操作算子的内存占用。

• https://github.com/apache/incubator-doris/pull/6970

  show proc 增加 stream load 作业的查看入口。

• https://github.com/apache/incubator-doris/pull/6971

  优化HLL类型的内存占用。

• https://github.com/apache/incubator-doris/pull/7075

  spark/flink connector支持string类型。

2.3 其他

• https://github.com/apache/incubator-doris/pull/7047

  官方网站新增blog入口，分享各种功能案例。

-- END --

【往期回顾】

【Doris Weekly 】2021.10.18~2021.10.31

【Doris Weekly 】2021.09.27~2021.10.17

【Doris Weekly & FAQ】2021.09.13~2021.09.26

【精彩文章】

直播回顾｜Apache Doris源码阅读与解析系列第七讲 ——《如何实现一个函数》
直播回顾｜Apache Doris源码阅读与解析系列第六讲 ——《 Doris 的节点管理和内部流程》
直播回顾｜Apache Doris源码阅读与解析系列第五讲 ——《数据的读取流程》
直播回顾｜Apache Doris源码阅读与解析系列第四讲 ——《一条SQL的执行过程》 直播回顾｜Apache Doris源码阅读与解析系列第三讲 ——《数据的导入流程》
直播回顾｜Apache Doris源码阅读与解析系列第二讲 ——《Stream Load 导入作业的执行流程》
直播回顾｜Apache Doris源码阅读与解析系列第一讲 ——《建表语句的执行过程》
源码解析｜Apache Doris源码阅读与解析系列第0讲——从零认识Doris代码库

本文分享自微信公众号 - ApacheDoris（gh_80d448709a68）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。