Doris学习笔记
文章平均质量分 79
大脸猫脸大主持人猫脸大
这个作者很懒,什么都没留下…
展开
-
基础使用指南
基础使用指南创建数据库:create databases example_db;赋权:grant all on example_db to test;在复合分区中:第一层称为Partition,即分区,用户可以指定某一维度列作为分区列(当前只支持整形和时间类型的列),并指定每个分区的取值范围.第二层称为Distribution,即分桶,用户可以指定一个或多个维度列和桶数对数据进行Hash分布.单分区建立一个名字为table1的逻辑表,分桶列为siteid,桶数为10.这个表的sche原创 2022-02-21 15:20:04 · 130 阅读 · 1 评论 -
高级使用指南
高级使用指南表结构变更使用ALTER TABLE 命令可以修改表的Schema,包括如下修改:增加列删除列修改列类型改变列顺序新增一列uv,类型为BIGINT,聚合类型为SUM,默认值为0:ALTER TABLE table1 ADD COLUMN uv BIGINT SUM DEFAULT '0' after pv;提交成功后,可以通过以下命令查看作业进度:SHOW ALTER TABLE COLUMN;当作业状态为FINISHED,则表示作业完成.可以使用以下命令取消当前原创 2022-02-21 15:17:49 · 654 阅读 · 0 评论 -
数据模型、ROLLUP及前缀索引
数据模型、ROLLUP及前缀索引基本概念一张表包括行(Row)和列(Column).Row即用户的一行数据.Column用于描述一行数据中不同的字段.Column可以分为两大类:Key和Value.从业务角度看,Key和Value可以分为对应维度列和指标列.Doris的数据模型主要分为三类:AggregateUniqDuplicateAggregate模型当导入数据时,对于Key列相同的行会聚合成一行,而Value列会按照设置的AggregationType进行聚合.Aggreg原创 2022-02-21 15:17:05 · 826 阅读 · 0 评论 -
Doris数据划分
数据划分基本概念Row&Column一张表包含行(Row)和列(Column).Column可以分为两大类:Key和Value.Tablet & Partition在Doris的存储引擎中,用户数据被水平划分为若干个数据分片(Tablet,也称作数据分桶).每个Tablet包含若干数据行.各个Tablet之间的数据没有交集,并且在物理上是独立存储的.多个Tablet在逻辑上归属于不同的分区(Partition).一个Tablet只属于一个Partition.而一个Partit原创 2022-02-21 15:08:35 · 1223 阅读 · 0 评论 -
Rollup与查询
Rollup与查询Rollup在查询中的作用:索引聚合数据(仅作用于聚合模型、即aggregate key)但是为了命中Rollup需要满足一定的条件,并且可以通过执行计算中的ScanNode节点的PreAggregation的值来判断是否可以命中Rollup,以及Rollup字段判断命中的是哪一张Rollup表.名次解释Base:基表.Rollup:一般指基于Base表创建的Rollup表,但在一些场景包括Base以及Rollup表.索引Doris会把Base/Rollup表中的前3原创 2022-02-21 15:07:08 · 296 阅读 · 0 评论 -
Doris导入总览
导入总览导入(Load)功能是将用户的原始数据导入Doris中.导入成功后,用户即可通过Mysql客户端查询数据.基本概念Frontend(FE):Doris系统的元数据和调度节点.在导入流程中主要负责导入规划生成和导入任务调度工作.Backend(BE):Doris系统的计算和存储节点.在导入流程中主要负责数据的ETL和存储.Broker:Broker为一个独立的无状态进程.封装了文件系统接口,提供Doris读取远端存储系统中文件的能力.导入作业(Load Job):导入作业读取用户提交的源原创 2022-02-21 15:05:52 · 1490 阅读 · 0 评论