Apache Doris
文章平均质量分 58
分享Apache Doris基础、原理等
修破立生
专注大数据技术领域,持续学习和分享者
展开
-
Apache Doris 系列: 自动分桶(Auto Bucket)
本来介绍了分桶不规范,分桶数过多和过少带来的问题;分桶数规范的建议;以及自动分桶功能的使用。原创 2023-03-29 15:59:05 · 933 阅读 · 0 评论 -
Apache Doris 系列:Bucket(分桶)数量设置建议
Apache Doris集群上线运行一段时间后,随着越来越多的数据增长,集群每次重启后一周左右,读写就会开始变得越来越慢,直到无法正常进行读写。注:表的数据量可以通过 SHOW DATA。命令查看,结果除以副本数,即表的数据量。原创 2023-02-09 10:26:46 · 2357 阅读 · 0 评论 -
Apache Doris 系列: 基础篇-使用BitMap函数精准去重(2)
Apache Doris 原有的BitMap函数虽然比较通用, 但在亿级别的BitMap大基数并交计算性能较差,解决方案:将bitmap列的值按照范围划分,不同范围的值存储在不同的bucket上,确保在不同bucket的bitmap值是正交的。在查询的时候,先对不同bucket的bitmap值完成聚合计算,上层的FE节点只需合并聚合过的数据并输出即可。如此会极大的改善计算效率,和解决FE节点成为计算瓶颈的问题。原创 2023-01-28 16:55:40 · 2004 阅读 · 0 评论 -
Apache Doris 系列: 基础篇-使用BitMap函数精准去重(1)
本文介绍了使用BitMap函数进行精准去重,以及其局限原创 2023-01-14 11:40:28 · 2307 阅读 · 0 评论 -
Apache Doris 系列: 基础篇-BitMap索引
本文基于SSB测试数据创建BitMap索引,对比索引创建前后的性能,并给出使用的建议原创 2023-01-13 16:15:05 · 1720 阅读 · 0 评论 -
Apache Doris 系列: 基础篇-清理垃圾数据
简单介绍垃圾数据产生的原因,以及垃圾数据的清理方法原创 2023-01-13 16:03:18 · 1446 阅读 · 0 评论 -
Apache Doris 系列: 基础篇-单独更新一列
本文举例说明Apache Doris如何实现单独更新一列,数据表使用 Aggregate 聚合模型。需要更新的字段使用关键字REPLACE_IF_NOT_NULL。原创 2023-01-10 15:59:03 · 2288 阅读 · 3 评论 -
使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris
使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris, Apache Doris使用唯一模型,实现更新/删除操作原创 2023-01-07 14:11:48 · 1845 阅读 · 1 评论 -
Apache Doris 系列:基础篇-创建动态分区表
Apache Doris 系列:基础篇-创建动态分区表原创 2022-11-15 20:47:05 · 2062 阅读 · 0 评论 -
Apache Doris 系列: 基础篇-Flink SQL写入Doris
本文介绍 Flink SQL如何流式写入 Apache Doris原创 2022-09-22 22:38:35 · 5095 阅读 · 7 评论 -
Apache Doris 系列: 基础篇-Flink DataStream 读写Doris
本来介绍Flink Doris connector 通过 DataStream API 读写 Apache Doris原创 2022-09-18 19:13:41 · 3320 阅读 · 1 评论 -
Apache Doris 系列: 基础篇-Routine Load
Routine Load 支持用户提交一个常驻的导入任务,通过不断的从指定的数据源读取数据,将数据导入到 Doris 中。目前仅支持通过无认证或者 SSL 认证方式,从 Kakfa 导入 CSV 或 Json 格式的数据。接下来通过一个案例介绍 Routine Load 的使用。部署单节点Kafka准备测试数据并导入kafka导入数据到 Doris。原创 2022-09-17 17:40:30 · 2119 阅读 · 0 评论 -
Apache Doris 系列: 基础篇-JAVA执行Stream Load
Stream Load 的本质是调用 Doris BE 节点的 HTTP API 来实现数据的导入,因为我们可以用JAVA HTTP CLIENT 来实现数据的导入。原创 2022-09-16 21:38:44 · 2103 阅读 · 0 评论 -
Apache Doris 系列: 基础篇-Stream Load
Stream Load 提供 HTTP API 提交数据导入任务,支持本地数据文件(csv,json)的导入。同步导入保证数据原子性,导入一批数据时,要么全部成功,要么全部失败。原创 2022-09-15 22:10:18 · 1011 阅读 · 0 评论 -
Apache Doris 系列: 基础篇-创建数据表
本文介绍 Doris 怎么创建表及其他的相关操作。连接 Doris部署完成 Doris 之后,可以通过任意 MySQL 客户端来连接 Doris。 mysql -u<username> -P<query_port> -h<FE_IP>注意:这里连接 Doris ,指的是连接 Doris FE,连接的 IP 地址就是 FE 节点 IP 地址,端口是 FE 的 query_port 默认是9030创建数据库使用 root 用户登录,创原创 2022-09-14 20:39:33 · 2403 阅读 · 0 评论 -
Apache Doris 系列: 基础篇-安装部署
系统准备系统版本Ubuntu系统或者Centos系统皆可, 本文采用Ubuntu 18.04.6 LTS(下载地址:https://releases.ubuntu.com/bionic/)。配置系统参数echo "0" > /proc/sys/vm/swappinessecho "0" > /proc/sys/vm/overcommit_memorysysctl -p修改/etc/security/limits.conf, 在文件末尾追加以下配置* sof原创 2022-09-13 22:30:25 · 2280 阅读 · 0 评论 -
Apache Doris 源码编译
本文介绍了通过 docker 容器编译 Apache Doris 的方法原创 2022-02-18 12:47:59 · 829 阅读 · 0 评论
分享