Apache Doris (十九) ：Doris Properties 配置项及Engine选择

最新推荐文章于 2024-07-18 17:47:12 发布
最新推荐文章于 2024-07-18 17:47:12 发布
阅读量1.6k 收藏 4
点赞数 2
分类专栏： Apache Doris 大数据OLAP体系技术栈 文章标签： sql database 数据库 大数据 数据仓库 apache
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32020645/article/details/131586645
版权
大数据OLAP体系技术栈 同时被 2 个专栏收录
119 篇文章 32 订阅 ¥29.90 ¥99.00
订阅专栏
Apache Doris
43 篇文章 34 订阅
订阅专栏
本文详细介绍了Apache Doris的表属性配置，包括replication_num、replication_allocation、storage_medium等，以及如何选择和理解Engine类型。Doris支持动态分区、数据排序等多种特性，提供对表的高级管理功能。
摘要由CSDN通过智能技术生成

目录

一、Properties配置项

二、关于ENGINE

进入正文之前，欢迎订阅专题、对博文点赞、评论、收藏，关注IT贫道，获取高质量博客内容！

一、​​​​​​​Properties配置项

在创建表时，可以指定properties设置表属性，目前支持以下属性：

  • replication_num

指定副本数。默认副本数为3。如果 BE 节点数量小于3，则需指定副本数小于等于 BE 节点数量。在 0.15 版本后，该属性将自动转换成 replication_allocation 属性，如："replication_num" = "3"

了解本专栏 订阅专栏 解锁全文
Apache Doris (二十) ：Doris 索引详细内容
qq_32020645的博客
07-08 811
Doris对数据进行有序存储, 在数据有序的基础上为其建立稀疏索引,索引粒度为 block(1024行)。稀疏索引选取 schema 中固定长度的前缀作为索引内容, 目前 Doris 选取 36 个字节的前缀作为索引。建表时建议将查询中常见的过滤字段放在 Schema 的前面, 区分度越大，频次越高的查询字段越往前放。这其中有一个特殊的地方,就是 varchar 类型的字段。varchar 类型字段只能作为稀疏索引的最后一个字段。
Doris实战—构建日志存储与分析平台
最新发布
11-26 1万+
除了对接常用的日志采集器以外，你也可以自定义程序，通过 HTTP API Stream Load 将日志数据导入 Apache Doris。
Doris的PROPERTIES与ENGINE（九）
weixin_46039745的博客
11-22 1144
每个 Tablet 的副本数量。默认为 3，建议保持默认即可。在建表语句中，所有 Partition 中的 Tablet 副本数量统一指定。而在增加新分区时，可以单独指定新分区中 Tablet 的副本数量。副本数量可以在运行时修改。强烈建议保持奇数。最大副本数量取决于集群中独立 IP 的数量（注意不是 BE 数量）。Doris 中副本分布的原则是，不允许同一个 Tablet 的副本分布在同一台物理机上，而识别物理机即通过 IP。
Apache Doris数据表设计：Doris简单使用；Doris基本概念；Doris数据模型；Doris列定义；Doris分区和分桶；Properties配置项；关于ENGINE；Doris索引
学亮编程手记
02-12 3081
关于Doris表的类型，可以通过在 mysql-client 中执行 HELP CREATE TABLE;查看。AGGREGATE KEY 数据模型Key 列必须在所有 Value 列之前。尽量选择整型类型。因为整型类型的计算和查找效率远高于字符串。对于不同长度的整型类型的选择原则，遵循够用即可。对于 VARCHAR 和 STRING 类型的长度，遵循够用即可。表中一行数据所有列总的字节数不能超过100KB。如果数据一行非常大，建议拆分数据进行多表存储。
DORIS参数配置
eagle89的专栏
05-07 2150
DORIS参数配置
doris引擎介绍
weixin_40809627的博客
07-05 2525
背景： 在目前的MPPOLAP系统众多，比如Greenplum、Apache Impala、Presto、Doris、ClickHouse、Druid、TiDB等等，druid 虽然在不设置roll up 的情况下支持明细数据。但数据join 和性能都比较差。clickhouse 虽然在支持明细和汇总数据查询，但在集群扩展和数据join 的方面也比较弱。基于上面几个方面Doris 在兼容roll_up 的形式，也兼容了明细数据的join 查询。在数据应用方面有很大市场。 介绍： Doris是基于MPP架构的
Apache Doris数据模型详解及适用场景
程序员星痕的博客
10-26 3026
数据模型 Aggregate模型及Uniq模型 聚合模型中的列分为两种，Key (维度列) 和 Value（指标列），当我们导入数据时，对于 Key 列相同的行会聚合成一行，而 Value 列会按照设置的 AggregationType 进行聚合。 在Aggregate聚合模型下，Doris 也可以保存完整的明细数据，例如增加时间列。在 Base 表之上，我们可以创建任意多个 ROLLUP 表，获得更粗粒度的聚合数据。 在某些多维分析场景下，用户更关注的是如何保证 Key 的唯一性，因此，引入了 Uniq
下一代实时数据库：Apache Doris 【五】数据表的创建
Maynor的博客
09-25 300
1）创建 test 用户2）创建数据库3）用户授权在 Doris 中，数据都以关系表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。⚫ 在默认的数据模型中，Column 只分为排序列和非排序列。存储引擎会按照排序列对数据进行排序存储，并建立稀疏索引，以便在排序数据上进行快速查找。⚫ 而在聚合模型中，Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和。
Doris 倒排索引—日志分析利器
热门推荐
04-29 6万+
Apache Doris 提供了丰富的索引以加速数据的读取和过滤，依据是否需要用户手工创建，索引类型大体可以分为智能内建索引和用户创建索引两类，其中智能内建索引是指在数据写入时自动生成的索引，无需用户干预，包括前缀索引和 ZoneMap 索引。因此，即使不添加倒排索引仍能展现较好的查询效果。这里需要说明的是，MATCH 与 LIKE 查询的差异在于，MATCH 查询时会忽略大小写，把句子切分成一个个词来匹配，能够更快速定位符合条件的结果，特别是在大规模数据集情况下，MATCH 的效率提升更为明显。
Apache Doris (十) ：Doris基础
qq_32020645的博客
06-28 580
在 Doris 中，数据都以表（Table）的形式进行逻辑上的描述，一张表包括行（Row）和列（Column），Table中又有分区（partition）和分桶（tablet）概念，下面分别介绍这些概念。Row 代表用户的一行数据，Column用于描述一行数据中不同的字段。Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。从聚合模型的角度来说，Key 列相同的行，会聚合成一行。其中 Value 列的聚合方式由用户在建表时指定。
Doris数据库---建表、调整表结构操作
weixin_51101008的博客
01-13 8225
doris常见建表语法和问题解决
doris基础
尤托匹亚的博客
05-29 983
doris 数据模型 在 Doris 中，数据都以表（Table）的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column）： Row：即用户的一行数据； Column： 用于描述一行数据中不同的字段。 Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。从聚合模型的角度来说，Key 列相同的行，会聚合成一行。其中 Value 列的聚合方式由用户在建表时指定。 表数据会进行分区管理(逻辑上的划分)，同一个分区数据则会切分为
doris同步作业配置参数修改和注意事项
qq_43688472的博客
01-20 3029
doris同步作业配置参数修改和注意事项
doris 最小写入副本数 说明
u011250186的博客
07-18 687
doris 最小写入副本数
(一)、Doris安装使用（基于Doris 2.0.6）
qq_22494169的博客
03-22 4969
​ Apache Doris由百度大数据部研发（之前叫百度 Palo，2018年贡献到 Apache 社区后，更名为 Doris），在百度内部，有超过200个产品线在使用，部署机器超过1000台，单一业务最大可达到上百 TB。​ Apache Doris是一个现代化的MPP （Massively Parallel Processing，即大规模并行处理）分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析
Doris【数据模型】
xiayuhaisong的博客
03-02 1814
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。
Doris 2.0 ｜ 高并发点查询性能提升！
微信搜：import_bigdata，大数据领域硬核原创作者
07-03 1856
背景Doris 基于列存格式引擎构建，在高并发服务场景中，用户总是希望从系统中获取整行数据。但是，当表宽时，列存格式将大大放大随机读取 IO。Doris 查询引擎和计划对于某些简单的查询（如点查询）来说太重了。需要一个在 FE 的查询规划中规划短路径来处理这样的查询。FE 是 SQL 查询的访问层服务，使用 Java 编写，分析和解析 SQL 也会导致高并发查询的高 CPU 开销。为了解决上述问题...
Doris浅略介绍 +部署+使用
weixin_43159653的博客
01-04 1万+
DORIS 部署 +使用 +扩容 BE节点，学习记录doris 遇到的坑以及学习过程；
Doris学习笔记之数据表的创建
四国棋客
07-02 6224
本文介绍Doris中数据表的创建，包括用户和数据库的创建、Doris表的基本概念、数据划分、Rollup上卷、物化视图、数据表的修改和删除，并辅以多个案例进行演示
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT贫道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值