【Doris Weekly】2020.08.24～2020.08.30

观众朋友们：

晚上好！

今天是2020年8月31日星期一，农历七月十三，欢迎收看【Doris一周要闻】。
本次为您带来的是2020年8月24日——8月30日的周度总结。

01 统计数据

本周共有 18 位作者提交了 37 个Commit。感谢以下作者的贡献：

Mingyu Chen, ZhangYu0123, wyb, EmmyMiao87, xy720, caiconghui, Zhengguo Yang, HappenLee, HangyuanLiu, yiguolei, xueyan.li, weizuo93, satanson, gengjun-git, Youngwb, Yingchun Lai, Stalary, Lijia Liu
本周修改新增代码行 5042 ，删除代码行 42453 ，共涉及 3952 个文件。

▼

02 主要进展
2.1   新增功能（Merged）

• https://github.com/apache/incubator-doris/pull/4425

  改善 Batch delete 功能，对相关compaction流程进行改进和优化

2.2   Bug修复

• https://github.com/apache/incubator-doris/pull/4424

  优先使用用户指定的方式进行 join 

• https://github.com/apache/incubator-doris/pull/4279

  修复Left join 操作中包含Inline view 时，结果不正确的问题

• https://github.com/apache/incubator-doris/pull/4362 

  select database() 不再返回 cluster 限定名，同时修复 select user() 不显示用户ip的问题

• https://github.com/apache/incubator-doris/pull/4393

  修复对于使用动态分区功能的表，show create table 显示的表副本数不正确的问题

• https://github.com/apache/incubator-doris/pull/4436

  修复物化视图中，base表和物化视图的decimal、char、varchar 列精度不一致的问题

• https://github.com/apache/incubator-doris/pull/4448

  (1) 修复 PlanFragmentExecutor 中的野指针问题

  (2) 修复 json 格式导入时空指针的问题

• https://github.com/apache/incubator-doris/pull/4401

  修复BE上一些残留的tablet目录未被清除的问题 

• https://github.com/apache/incubator-doris/pull/4464

  修复 Spark Load 的若干问题

• https://github.com/apache/incubator-doris/pull/4471

  修复对于colocation 表的均衡无法完成的问题 

• https://github.com/apache/incubator-doris/pull/4458

  修复 MemIndex::load_segment 可能出现的内存拷贝异常问题

2.3   功能改进

• https://github.com/apache/incubator-doris/pull/4404

  增加了对 delete 语句中对 IN Predicate 支持的文档 

• https://github.com/apache/incubator-doris/pull/4201

  支持将 count(distinct if(bool, bitmap, null)) 自动映射为 bitmap_union_count 函数 

• https://github.com/apache/incubator-doris/pull/4359

  支持 set sql_mode = concat(@@sql_mode, "STRICT_TRANS_TABLES") 语句 

• https://github.com/apache/incubator-doris/pull/4373

  优化BE创建tablet时选择磁盘的策略，使用 "two random choices" 算法保证tablet副本更加均匀

• https://github.com/apache/incubator-doris/pull/4432

  限制当创建物化视图时，bitmap_union 聚合方式只支持整型列，hll_union 不支持 decimal 列

• https://github.com/apache/incubator-doris/pull/4446

  在 describe table 语句中，显示物化视图聚合列的定义表达式

• https://github.com/apache/incubator-doris/pull/4348

  在 query profile 的 OlapScanNode 中新增两个 segment相关的指标，用于展示总的segment数量和被过滤segment数量

• https://github.com/apache/incubator-doris/pull/4364

  1. 支 持 convert() 函数 2. 支持 cast (expr as signed/unsigned int) 语法以兼容MySQL生态 3. 在information_schema.columns表中增加更多的列以兼容MySQL生态  

• https://github.com/apache/incubator-doris/pull/4383

  在 Spark Load 功能中，使用 yarn 命令行取代 yarn-client API，用于杀死作业，或获取作业状态

• https://github.com/apache/incubator-doris/pull/4388

  在schema change结果中返回错误码以更明确的告知用户具体错误

• https://github.com/apache/incubator-doris/pull/4435

  增加 batch delete 功能说明文档 

• https://github.com/apache/incubator-doris/pull/4454

  持久化stale rowset 元信息，以保证BE宕机重启后，这些信息不会丢失

• https://github.com/apache/incubator-doris/pull/4463

  增加 Spark Load 语法手册

• https://github.com/apache/incubator-doris/pull/4466

  在 BE 的 /api/compaction/show API中增加 cumulative compaction 策略名称和 rowset 数据大小的显示

• https://github.com/apache/incubator-doris/pull/4470

  将Spark Load 中 Spark Launcher的日志重定向到独立的日志文件，方便查看

2.4   其他

• https://github.com/apache/incubator-doris/pull/438

  将默认的存储格式修改为 SegmentV2。后续新建的表的存储格式将默认为 SegmentV2

• https://github.com/apache/incubator-doris/pull/4371

  修复了License相关的一些问题：

  1. 默认编译选项中将不再开启MySQL client 和 LZO 两个第三方库的依赖。如果用户需要 MySQL 外表功能，需自行开启

  2. 移除了代码库中的 js 和 css 代码，采用第三方库依赖的形式引入

• 更新了Docker开发环境镜像build-env-1.2

  更新了UnixODBC三方库的编译方式，使得BE进程在运行时不在依赖系统的libltdl.so动态库

▼

03 主要开发中特性一览

• https://github.com/apache/incubator-doris/issues/2581

  支持SQL结果集Cache

• https://github.com/apache/incubator-doris/issues/4376

  支持通过ODBC协议访问外部表。

• https://github.com/apache/incubator-doris/issues/4308

  支持FE模块的前端UI和后端结构实现分离，提供功能更强大的UI界面

• https://github.com/apache/incubator-doris/issues/3926

  支持大查询落盘

• https://github.com/apache/incubator-doris/issues/3930

  支持对Unique Key模型导入数据时，按指定的Sequence列进行排序。

• https://github.com/apache/incubator-doris/issues/4283

  支持 Result Cache 功能

观众朋友们，本期的Doris一周要闻节目就播送完了。 感谢您的收看，我们下周再见！


欢迎扫码关注： Apache Doris(incubating)官方公众号
相关链接： Apache Doris官方网站： http://doris.incubator.apache.org Apache Doris Github： https://github.com/apache/incubator-doris Apache Doris 开发者邮件组： dev@doris.apache.org  

本文分享自微信公众号 - ApacheDoris（gh_80d448709a68）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。