Doris Weekly & FAQ】2021.07.19~2021.08.01

最新推荐文章于 2024-06-13 09:28:00 发布
最新推荐文章于 2024-06-13 09:28:00 发布
阅读量4.4k 收藏
点赞数
文章标签： java python 数据库 大数据 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ucanuup_/article/details/119568325
版权

d5d1e142-26be-443a-a3bb-c39370622bd5.png


观众朋友们：


晚上好！

欢迎收看【 Doris 近日要闻】~本次为您带来的是 2021年07月19日 ～ 2021年08月01日 的双周总结。



Doris 社区周报每期会包含 FAQ 环节。我们会在社区论坛、Github ISSUE、Dev邮件组以及微信用户群中挑选一些主要问题并在 FAQ 环节中进行解答。


  • Dev 邮件组：dev@doris.apache.org

  • Github Issue：https://github.com/apache/incubator-doris/issues

  • 社区论坛地址：http://ai.baidu.com/forum/topic/list/209/0/167







▼

1. 统计数据


共20位作者提交了33个 Commit 。感谢以下作者的贡献：


jiafeng.zhang, weizuo93, HappenLee, xy720, stdpain, qiye, caiconghui, Xinyi Zou, Mingyu Chen, xinghuayu007, pengxiangyu, luozenglin, huangmengbin, Zhengguo Yang, Xiang Wei, Tobiasz Kędzierski, Henry2SS, GoGoWen, EmmyMiao87, DinoZhang


最近2周，共修改新增代码行 13525 ，删除代码行 1500 。









▼

2. 主要进展


2.1 新增功能


  • https://github.com/apache/incubator-doris/pull/6115

    支持为AES_ENCRYPT和AES_DECRYPT函数创建自定义公钥。

  • https://github.com/apache/incubator-doris/pull/6233

    支持在SQL查询规划阶段，利用BE的函数计算能力计算所有常量表达式。

  • https://github.com/apache/incubator-doris/pull/6223

    ODBC外表支持SQLServer。

  • https://github.com/apache/incubator-doris/pull/6245

    支持事务性insert操作。

  • https://github.com/apache/incubator-doris/pull/6214

    支持通过show load profile查看broker load的导入执行profile。

  • https://github.com/apache/incubator-doris/pull/6230

    Unique Key模型支持Update语法。

  • https://github.com/apache/incubator-doris/pull/6333

    支持LDAP登陆验证。


2.2 Bug修复


  • https://github.com/apache/incubator-doris/pull/6266

    修复Grouping Set和Order By同时使用可能产生的规划错误。

  • https://github.com/apache/incubator-doris/pull/6273

    修复日期格式化函数的错误。

  • https://github.com/apache/incubator-doris/pull/6305

    修复runtime filter在处理null值的错误问题。

  • https://github.com/apache/incubator-doris/pull/6284

    修复Spark Load计算bool类型的hash值错误的问题。

  • https://github.com/apache/incubator-doris/pull/6317

    修复memtable写入多个segment时可能导致BE进程宕机的问题。


2.3 功能改进


  • https://github.com/apache/incubator-doris/pull/6200

    提升FE处理tablet汇报的性能。

  • https://github.com/apache/incubator-doris/pull/6099

    BE端读取数据时，共享schema数据结构以提升效率。

  • https://github.com/apache/incubator-doris/pull/6253

    优化lower和upper函数的执行效率。

  • https://github.com/apache/incubator-doris/pull/6274

    优化Join算子的代价计算模型。

  • https://github.com/apache/incubator-doris/pull/6207

    重构FE端元数据镜像文件的格式，以方便扩展。

  • https://github.com/apache/incubator-doris/pull/6293

    优化zonemap的生成逻辑，避免生成过大的zonemap索引条目。



2.4 文档


  • https://github.com/apache/incubator-doris/pull/6231

    创建demo文档库，丰富Apache Doris的使用示例说明。










▼

3. FAQ


Q：tablet writer write failed, tablet_id=27306172, txn_id=28573520, err=-235 or -215

A：

这个错误通常发生在数据导入操作中。新版错误码为 -235，老版本错误码可能是 -215。这个错误的含义是，对应tablet的数据版本超过了最大限制（默认500），后续写入将被拒绝。比如问题中这个错误，即表示 27306172 这个tablet的数据版本超过了限制。


这个错误通常是因为导入的频率过高，大于后台数据的compaction速度，导致版本堆积并最终超过了限制。此时，我们可以先通过show tablet 27306172 语句，然后执行结果中的 show proc 语句，查看tablet各个副本的情况。结果中的 versionCount即表示版本数量。如果发现某个副本的版本数量过多，则需要降低导入频率或停止导入，并观察版本数是否有下降。如果停止导入后，版本数依然没有下降，则需要去对应的BE节点查看be.INFO日志，搜索tablet id以及 compaction关键词，检查compaction是否正常运行。关于compaction调优相关，可以参阅：Doris 最佳实践-Compaction调优(3)


Q：tablet 110309738 has few replicas: 1, alive backends: [10003]

A：

这个错误可能发生在查询或者导入操作中。通常意味着对应tablet的副本出现了异常。


此时，可以先通过 show backends 命令检查BE节点是否有宕机，如 isAlive 字段为false，或者 LastStartTime 是最近的某个时间（表示最近重启过）。如果BE有宕机，则需要去BE对应的节点，查看be.out日志。如果BE是因为异常原因宕机，通常be.out中会打印异常堆栈，帮助排查问题。如果be.out中没有错误堆栈。则可以通过linux命令dmesg -T 检查是否是因为OOM导致进程被系统kill掉。


如果没有BE节点宕机，则需要通过show tablet 110309738 语句，然后执行结果中的 show proc 语句，查看tablet各个副本的情况，进一步排查。

    

Q：disk xxxxx on backend xxx exceed limit usage

A：

通常出现在导入、Alter等操作中。这个错误意味着对应BE的对应磁盘的使用量超过了阈值（默认95%）此时可以先通过 show backends 命令，其中MaxDiskUsedPct展示的是对应BE上，使用率最高的那块磁盘的使用率，如果超过95%，则会报这个错误。


此时需要前往对应BE节点，查看数据目录下的使用量情况。其中trash目录和snapshot目录可以手动清理以释放空间。如果是data目录占用较大，则需要考虑删除部分数据以释放空间了。具体可以参阅【磁盘空间管理】：http://doris.incubator.apache.org/master/zh-CN/administrator-guide/operation/disk-capacity.html


-- END --



【往期回顾】

【Doris Weekly & FAQ】2021.07.05~2021.07.18

【Doris Weekly & FAQ】2021.06.21~2021.07.04

【Doris Weekly】2021.06.07~2021.06.20


【精彩文章】
活动回顾｜ Apache Doris 的过去、现在与未来 活动回顾｜ 基于 Iceberg 拓展 Doris 数据湖能力的实践
社区人物志｜王博：每一位你，都是前进道路上的一团星光。
社区人物志｜张家锋：一个人可能走得更快，但一群人会走得更远



欢迎扫码关注：

fcae98e5-23be-433a-9d89-c94326f66c4c.jpg

Apache Doris(incubating)官方公众号



相关链接：

Apache Doris官方网站：

http://doris.incubator.apache.org

Apache Doris Github：

https://github.com/apache/incubator-doris

Apache Doris 开发者邮件组：

dev@doris.apache.org


                     


                                                      838f1d94-3ea3-41f7-91df-49cf00fe2d5e.png





本文分享自微信公众号 - ApacheDoris（gh_80d448709a68）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

ApacheDoris
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
warning: implicit declaration of function ‘xxxxx‘ 导致的严重后果
weixin_46485500的博客
12-03 727
一个简单的函数，返回一个全局的指针： _Uint64t *xxxxx() { return 全局指针; } 但运行时发现xxxxx的返回值的高32位被清空。 函数的汇编没有问题 0000000000003a0c <xxxxx>: 3a0c: f0000080 adrp x0, 16000 <__dso_handle> 3a10: 91018000 add x0, x0, #0x60 3a14: d65...
Google Apps Engine Get Started
Tomson Xu
08-24 2570
<br /><br />Install Google Apps Engine development environment<br />1.       Install eclipse<br />2.       Go to http://code.google.com/eclipse/docs/getting_started.html to check update site URL according to your version of Eclipse.<br />3.       Run e
Apache Doris 基础 -- 部分数据类型及操作
最新发布
chinusyan的专栏
06-13 835
Apache Doris 基础 -- 部分数据类型及操作
【Doris】通过Stream Load解决Doris同步产生err=-235 or -215 or -238问题
yuanling_123的博客
04-12 1995
Stream Load 是一个同步的导入方式，用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。Stream load 同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。Stream Load 主要适用于导入本地文件，或通过程序导入数据流中的数据。Stream load 中，Doris 会选定一个节点作为 Coordinator 节点。该节点负责接数据并分发数据到其他数据节点。用户通过 HTTP 协议提交导入命令。
MySQL 日期格式化
热门推荐
m0_67401270的博客
08-22 1万+
我想你要搜的就是这个！需要手动除以 1000。
Doris的日期时间函数使用教程
yqj234的专栏
04-02 1829
返回datetime_expr2−datetime_expr1，其中datetime_expr1和datetime_expr2是日期或日期时间表达式。对于在 1970-01-01 00:00:00 之前或 2038-01-19 03:14:07 之后的时间，该函数将返回 0。将日期类型按照format的类型转化为字符串， 当前支持最大128字节的字符串，如果返回值长度超过128，则返回NULL。DAYOFWEEK函数返回日期的工作日索引值，即星期日为1，星期一为2，星期六为7。
一篇讲明白Doris数仓特点.doc
04-02
一篇讲明白Doris数仓特点.doc
doris-0.12.tar.gz已编译
11-27
《Apache Doris 0.12 版本的编译与使用详解》 Apache Doris，全称为 Apache Doris（incubating），是一款基于MPP架构的高性能、实时分析型数据库，广泛应用于大数据领域的实时报表分析和数据探索。在本文中，我们将...
如何快速定位线上Doris FE内存使用过高问题.pdf
09-21
在使用Apache Doris的过程中，有时会遇到线上Doris Frontend（FE）内存使用过高的问题。Doris系统架构中，FE主要负责元数据管理、查询请求解析与计划生成，而Backend（BE）则承担主要的数据存储和计算工作。尽管大...
doris-0.12.12-output.zip
06-01
《Doris 0.12.12在CentOS上的输出详解》 Doris，全称为Apache Doris，是一款开源的、高性能的MPP（Massively Parallel Processing）数据分析引擎，适用于在线分析处理（OLAP）场景。本次我们将深入探讨Doris 0.12....
apache-doris-0.12.0.tar.gz
08-12
Apache Doris 是一款开源的、高性能的列式数据库，常用于在线分析处理（OLAP）场景，为企业的大数据分析提供快速、高效的查询能力。Doris 的设计灵感来源于 Google Dremel，它支持实时数据摄取和多级索引，使得在大...
DORIS数据格式
09-04
描述DORIS数据格式https://passport.csdn.net/account/login?username=stonespark&activeCode=a4f6c6944b0703709050f5823a827923&service=http%3A%2F%2Fdownload.csdn.net%2Fdownload%2Fgaopu126%2F1494862
Doris常用函数
2201_75550155的博客
02-15 2766
- 2023-07-10 06:19:54 返回当前(国际标准时间)UTC日期和时间在 "YYYY-MM-DD HH:MM:SS" 或 "YYYYMMDDHHMMSS"格式的一个值。
Maven学习总结
chzh101011的博客
10-19 1112
Maven的两大特点： 依赖管理：对Jar包的管理过程，即对Jar包的统一管理 项目构建：项目进行编码完毕后，对项目进行编译、测试、打包、部署等操作都可以通过命令来实现 Maven的依赖管理 说明：Maven项目可以通过pom文件中的配置坐标，来找到项目需要的jar包，无需再将Jar包拷贝到lib文件中 坐标的规范：公司名+项目名+版本号    
字符集与字符集编码简介
gogor的专栏
02-24 1万+
字符集与字符编码简介 我们知道，计算机只能识别诸如0101这样的二进制数，于是人们必须以二进制数据与计算机进行交互，或者先将人类使用的字符按一定规则转换为二进制数。那什么是字符呢？在计算机领域，我们把诸如文字、标点符号、图形符号、数字等统称为字符。而由字符组成的集合则成为字符集，字符集由于包含字符的多少与异同而形成了各种不同的字符集。我们知道，所有字符在计算机中都是以二进制来存储的。那
Gin之获取form表单参数
weixin_52690231的博客
04-09 2990
Gin之获取form参数
时间相关模块
Doris-wxy
01-18 1400
import time print(time.time()) #当前时间戳 print(time.strftime("%Y-%m-%d %H:%M:%S")) #当前格式化时间年月日时分秒 print(time.strftime("%Y-%m-%d")) #当前格式化时间年月日 print(time.strftime("%H:%M:%S")) #当前格式化时间时分秒 1、 时间戳转格式化好的时间 t=time.localtime(time.time()) #当前时间时区 #print(time.gmti
celebs名人写真图片数据采集，先下载100个G再说
五包辣条的博客
08-04 7538
大家好，我是辣条。 今天给大家带来一个宝藏网站，国外名人明星的写真图片网站，冒着进小黑屋的风险出爬虫实战，仅供学习交流！侵删！希望大家给个三连支持。 采集目标 数据来源: celebs-place 工具准备 开发环境：win10、python3.7 开发工具：pycharm、Chrome 使用工具包：requests，lxml, os 项目思路 网页图片数据量过大，以单独的一项展示学习 选取单独的A分类 requests发送网络请求 headers = { '.
mybatis collection
weixin_44617188的博客
09-03 3958
eg: SELECT * FROM user_info WHERE (USERNAME,AGE) IN ((‘张三’,‘26’),(‘李四’,‘58’),(‘王五’,‘27’),…-----建议做if test="xxxx！=null and xxxx.size()>0"的校验，比较严谨。-----建议做if test="xxxx！=null and xxxx.length()>0"的校验，比较严谨。=null and xxxx.size()>0"的校验，比较严谨。第一种：获取Map的键值对。
doris doris.filter.query 参数如何配置
05-22
Doris是一个分布式的列式存储系统，filter和query都是Doris中的查询参数。filter参数可以用于过滤数据，query参数用于查询数据。这两个参数的配置与Doris的版本和具体使用场景有关，以下是一些常见的配置方法： 1. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ApacheDoris

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值