HANG.NIAN

1 简介为了更好地满足各种不同的业务场景，DorisDB支持多种数据模型，DorisDB中存储的数据需要按照特定的模型进行组织。数据导入功能是将原始数据按照相应的模型进行清洗转换并加载到DorisDB中，方便查询使用。DorisDB提供了多种导入方式，用户可以根据数据量大小、导入频率等要求选择最适合自己业务需求的导入方式。本节介绍数据导入的基本概念、基本原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。导入作业：导入作业读取用户提交的源数据并进行清洗转换后，将数据导入到Do

DorisDB 支持基于Bitmap索引，对于有Filter的查询有明显的加速效果。原理1 什么是BitmapBitmap是元素为1个bit的, 取值为0,1两种情形的, 可对某一位bit进行置位(set)和清零(clear)操作的数组. Bitmap的使用场景有:用两个long型表示16学生的性别, 0表示女生, 1表示男生. 用bitmap表示一组数据中是否存在null值, 0表示元素不为null, 1表示为null. 一组数据的取值为(Q1, Q2, Q3, Q4), 表示季度;

名词解释Duplicate 数据模型：DorisDB中的用于存放明细数据的数据模型，建表可指定，数据不会被聚合。 Base 表：DorisDB 中通过 CREATE TABLE 命令创建出来的表。 Materialized Views 表：简称 MVs，物化视图。使用场景在实际的业务场景中，通常存在两种场景并存的分析需求：对固定维度的聚合分析 和 对原始明细数据任意维度的分析。例如，在销售场景中，每条订单数据包含这几个维度信息（item_id, sold_time, customer_id

1 什么是 Bloom FilterBloom Filter（布隆过滤器）是用于判断某个元素是否在一个集合中的数据结构，优点是空间效率和时间效率都比较高，缺点是有一定的误判率。布隆过滤器是由一个Bit数组和n个哈希函数构成。Bit数组初始全部为0，当插入一个元素时，n个Hash函数对元素进行计算, 得到n个slot，然后将Bit数组中n个slot的Bit置1。当我们要判断一个元素是否在集合中时，还是通过相同的n个Hash函数计算Hash值，如果所有Hash值在布隆过滤器里对应的Bit不.

1 数据存储基本原理由此可见, 查找维度列的前缀的查找过程为: 先查找shortkey index, 获得逻辑块的起始行号, 查找维度列的行号索引, 获得目标列的数据块, 读取数据块, 然后解压解码, 从数据块中找到维度列前缀对应的数据项.加速数据处理 列式存储 DorisDB的表和关系型数据相同, 由行和列构成. 每行数据对应用户一条记录, 每列数据有相同数据类型. 所有数据行的列数相同, 可以动态增删列. DorisDB中, 一张表的列可以分为维度列(也成为...

1 读取数据流程2 导入数据流程3 修改元数据流程1 读取数据流程用户可使用MySQL客户端连接FE，执行SQL查询， 获得结果。查询流程如下：① MySQL客户端执行DQL SQL命令。 ② FE解析, 分析, 改写, 优化和规划, 生成分布式执行计划。 ③ 分布式执行计划由 若干个可在单台be上执行的plan fragment构成， FE执行exec_plan_fragment, 将plan fragment分发给BE，指定其中一台BE为coordinator。 ④ B.

1 查询流程2 导入流程3 修改元数据流程1 查询流程用户可使用MySQL客户端连接FE，执行SQL查询， 获得结果。查询流程如下：① MySQL客户端执行DQL SQL命令。 ② FE解析, 分析, 改写, 优化和规划, 生成分布式执行计划。 ③ 分布式执行计划由 若干个可在单台be上执行的plan fragment构成， FE执行exec_plan_fragment, 将plan fragment分发给BE，指定其中一台BE为coordinator。 ④ BE执行本地计算,

1.1 DorisDB基本概念1.2 DorisDB的系统架构1.3 DorisDB的手动部署1.4 数据流和控制流1.5 数据导入和查询1.6 测试常见问题1.1基本概念FE：FrontEnd DorisDB的前端节点，负责管理元数据，管理客户端连接，进行查询规划，查询调度等工作。 BE：BackEnd DorisDB的后端节点，负责数据存储，计算执行，以及compaction，副本管理等工作。 Broker：DorisDB中和外部HDFS/对象存储等外部数据对接的中转服务，辅助.

1.1 DorisDB是什么 1.2 DorisDB特性 1.2.1 架构简单 1.2.2 分布式架构 1.2.3 自治系统，管理简单 1.2.4 高效的列式存储引擎 1.2.5 标准SQL 1.2.6 MPP（Massively Parallel Processing）执行框架 1.2.7 流批导入 1.2.8 智能物化视图 1.2.9 高可用 1.2.10 数据分区 1.2.11 Index加速查询 1.2.12 近似去重、精确去重功能 1.3 Do