doris数据模型,07-Duplicate模型

本文介绍了DuplicateKey模型在数据导入时如何避免聚合冲突,特别适合对日志分析不关注数据完整性的场景。它利用列存储模型,仅读取相关列,适合无主键且无需预聚合的数据处理。同时提及了分布式存储的特性。
摘要由CSDN通过智能技术生成

概念

Duplicate Key模型,导入数据时不会产生聚合,源数据不失真。
被指定为Duplicate Key的字段用来指示底层数据按照该字段排序

如:对于日志分析,不在意多几条,少几条数据,只关心排序,这时候Duplicate Key模型就有用武之地了。

create table if not exists test_db.example_log
(
	`log_time` datetime not null comment "日志时间",
	`type` int not null comment "日志类型",
	`error_code` int comment "错误码",
	`error_msg` varchar(1024) comment "错误详细信息",
	`op_id` bigint comment "负责人id",
	`op_time` datetime comment "处理时间" 
)
duplicate key (`log_time`, `type`)
distributed by hash(`log_time`) buckets 10;

特点

  1. 适用于数据即没有主键,也没有聚合需求的场景
  2. 虽然不能使用预聚合功能,但是,可以发挥列存储模型的优势,只读取相关列,不需要读取所有字段的列。
  • 8
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值