Doris
文章平均质量分 78
码猿小站
只是因为喜欢大数据
展开
-
Apache Doris使用部分日期函数导致分区裁剪失效总结
Doris内置了很多日期函数,但在分区字段上使用部分日期函数会导致分区裁剪异常,导致谓词无法下推,全量扫描数据。原创 2023-06-27 18:22:16 · 1071 阅读 · 0 评论 -
利用Flink(1.17)滚动窗口实时统计Apache Doris审计日志
统计每30S内各用户访问数仓的频次,同时过滤出慢查询,将慢查询单独输出,用于后期分析原创 2023-04-21 18:42:12 · 921 阅读 · 0 评论 -
Doris内置函数Split_part()性能影响分析测试
Doris 内置函数split_part()性能测试分析原创 2022-11-30 17:19:53 · 1582 阅读 · 2 评论 -
Doris(0.15.1-rc09)使用Datax-DorisWrite导致BE固定节点streamLoad任务过多问题排查
Doris(0.15.1-rc09)使用Datax-DorisWrite导致BE固定节点streamLoad任务过多问题排查原创 2022-11-17 15:49:28 · 982 阅读 · 0 评论 -
监控Doris BE部分重要指标的Prometheus Alert Rule
Doris重要监控指标说明原创 2022-09-14 14:48:42 · 853 阅读 · 0 评论 -
猿创征文|Apache Doris物化视图介绍
doris的物化视图是一种能够快速提高查询效率的预聚合机制,能够帮助用户解决大量频繁重复的查询效率瓶颈问题原创 2022-06-17 13:59:31 · 1082 阅读 · 2 评论 -
猿创征文|通过优化Doris表结构(Partitions & bucket数量)提升Doris查询性能
通过调整Doris建表结构提升Doris查询性能原创 2022-06-09 17:19:26 · 4008 阅读 · 4 评论 -
Apache Doris元数据介绍
Apache Doris元数据存储结构和内容介绍原创 2022-06-02 11:27:46 · 2165 阅读 · 0 评论 -
Apache Doris0.15.3 使用SQL_BLOCK_RULE导致集群FE元数据异常Down机解决方案
背景生产Doris集群是0.15.3版本,今天在创建SQL_BLOCK_RULE 的sqlHash规则时,导致Doris集群的FE节点同步元数据时出现空指针异常,集群3个FE节点全部挂掉且无法正常启动的情况。异常操作行为及报错信息1.创建SQL_BLOCK_RULE的sqlHash规则:CREATE SQL_BLOCK_RULE test_rule_1PROPERTIES( "sqlHash"="60c546559e91250393023573061921e0", "global"="f原创 2022-05-26 15:18:35 · 430 阅读 · 0 评论 -
Doris升级至1.0发行版后MySQL ODBC 不可用解决方案
背景 近期在做Doris集群的升级工作,准备将doris版本从Doris-0.15.1-rc09升级至doris-1.0.0-incubating。前期按照官网集群升级要求做了升级准备,顺利完成了集群的升级工作。但升级完成后,发现doris的MySQL ODBC有问题,具体报错如下:ERROR 1105 (HY000): errCode = 2, detailMessage = driver connect Error: HY000 [MySQL][ODBC 8.0(w) Driver]SS原创 2022-05-20 16:38:11 · 3169 阅读 · 0 评论 -
利用Flink-CDC和flink-doris-connector技术实现Mysql数据全量或增量同步至Doris
简介Flink CDC: 解决了传统数据库实时同步的痛点, 该技术抛弃了其他第三方组件(例如Kafka等),能够实时读取Mysql master节点全量和增量数据,能够捕获所有数据的变化,同时它完全与业务解耦,运维也及其简单。具体介绍请参考:Flink_CDC搭建及简单使用 及 flink-cdc-connectors。Apache Doris:它是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常原创 2022-05-14 10:52:26 · 5738 阅读 · 11 评论 -
Canal-adapter实时增量同步Mysql数据到Doris
一.版本介绍:canal.admin :1.1.4canal.deployer :1.1.4canal.adapter :1.1.4Doris :0.14/0.15三.多源配置:1.部署Canal不做详细介绍,可以参考官网部署。地址:https://github.com/alibaba/canal2.部署DorisApache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维原创 2022-03-11 10:31:42 · 4182 阅读 · 0 评论