【Apache Doris】周FAQ集锦：第 17 期

大数据AI智能圈

已于 2024-07-22 12:42:21 修改

阅读量1k

点赞数 24

分类专栏： Apache Doris Doris周FAQ 文章标签： apache doris olap 大数据

于 2024-07-22 12:41:39 首次发布

本文链接：https://blog.csdn.net/ith321/article/details/140606599

版权

Apache Doris 同时被 2 个专栏收录

46 篇文章 25 订阅

订阅专栏

Doris周FAQ

19 篇文章 1 订阅

订阅专栏

【Apache Doris】周FAQ集锦：第 17 期

SQL问题
数据操作问题
运维常见问题
其它问题
关于社区

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目！
在这个栏目中，每周将筛选社区反馈的热门问题和话题，重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目，希望帮助社区小伙伴更好地了解和应用 Apache Doris，促进经验交流和技术共享。

SQL问题

❓Q1 查询时报：

process memory used 48.26 GB exceed limit 50.21 GB or sys available memory 1.54 GB less than low water mark 1.60 GB.

💡A1 通常是资源不足导致，低于低水位线了，可参考如下几种排查思路：

单个任务跑不出来时，可能是SQL任务较大，导致资源不足。这种场景可以先分析SQL任务能否进行大拆小地拆分下；如果是包含大表计算，分析有没有分区设计，更好地利用分区裁剪能力。
当前查询任务是否较多，如果是并发执行比较多时，分析是否可以错峰对任务进行编排。
分析BE内存的使用情况，即内存是否有正常释放，是否出现内存泄漏，导致资源紧缺的问题，可以结合memtrakcer进行初步分析

https://doris.apache.org/zh-CN/docs/admin-manual/memory-management/memory-tracker

数据操作问题

❓Q2 doris中update更新和delete删除操作频繁有什么影响？
💡A2 doris中不推荐小数据量频繁的更新和删除操作。可以理解 update 和 delete 是查找+写入的过程，少量高频的操作本身会导致查找数据耗费性能，同时 compaction的触发会比较频繁，集群整体也有会压力。尽可能使用部分列更新和批量删除的特性去代替此类操作。

❓Q3 doris进行drop column后多久会清理磁盘数据？
💡A3 drop column这类schema change的操作不会立即执行删除，需要做完一次base compactoin才会清理对应的磁盘数据。

❓Q4 使用flink-doris-connector整库同步mysql到doris时报：

Caused by: java.lang.NoSuchMethodError: io.debezium.connector.mysql.MySqlConnection$MySqlConnectionConfiguration.<init>(Lio/debezium/config/Configuration;Ljava/util/Properties;)

💡A4 mysql-cdc包引入错误导致，如下图所示，需要使用flink-sql-connector-xx胖包。
在这里插入图片描述

❓Q5 doris的倒排索引如何自定义分词？
💡A5 doris的倒排索引会对词组进行分词，对于某些特定组合如果不想让其进行分词，可以在be/dict/user.dict.utf8中加上这个特定组合，比如加入“欢迎加入doris”这个词组会被视为一个整体，不再对其进行分词。
具体内容可查阅：
https://ask.selectdb.com/questions/D1S71/doris2-0-3-dao-pai-suo-yin-de-match-any-jie-guo-yu-wen-dang-bu-fu/E1291

❓Q6 doris的ccr跨集群数据同步是否支持多个源端集群到一个目标集群？
💡A6 特定条件地支持。多源表不能到一个目标表，多源到一个目的集群，表不同或者库不同是可以的。

❓Q7 doris 数据根部均匀是怎么保证的，例如对于扩容后怎么确保数据是均匀的？
💡A7 世界最好的算法还是随机，doris扩缩容后首先会做自动数据均衡的，均衡操作后数据就基本均匀了。所有的调度到最后，会发现随机是最均匀最好的。数据每个分片大小可控，查询复杂度不可控，在这两个不可控的前提下，做任何的调度效果都不佳。

运维常见问题

❓Q8 doris-manager挂了，是否会影响doris服务，后续有没有考虑设计manager高可用？
💡A8 如下：

doris-manager挂了绝不会影响doris服务。这是manager设计的基本要求，所以manager不用高可，也不需要弄这么复杂。
manager叫做管控面，doris叫数据面，管控面不能影响到数据面，这些是基本设计原则。
doris-manager内容可查阅：
https://docs.selectdb.com/docs/enterprise/release-notes/enterprisemanager

❓Q9 doris官方文档的SSB测试中，SSB宽表测试结果和标准SSB测试结果有什么区别？
💡A9 区别是标准ssb有join场景，ssb flat宽表没有join场景。ssb 主要是测多表join的，clickhouse将其改成宽表后，就没有join了，ssb flat宽表对于ck就擅长了。

在这里插入图片描述

其它问题

❓Q10 doris是否支持存算分离的部署模式？

💡A10 Apache Doris的3.0大版本已在最近推出，主要新特性也是存算分离架构，当前已经有不少Doris用户在测试环境体验中，欢迎大家多多关注和试用！

在这里插入图片描述
存算分离内容可查阅：
https://doris.apache.org/zh-CN/docs/dev/compute-storage-decoupled/overview

一臻数据

关于社区

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣，可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组：

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组：dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧，或者向dev邮件组提交反馈和意见。

相信，您的参与将帮助Apache Doris变得更加完善。