理解StarRocks表设计

最新推荐文章于 2024-05-12 01:05:58 发布
最新推荐文章于 2024-05-12 01:05:58 发布
阅读量654 收藏 3
点赞数
分类专栏： StarRocks 文章标签： StarRocks
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shen2308/article/details/124818200
版权
本文介绍了StarRocks的列式存储结构，包括行与列的构成，列式存储的优势以及数据的物理和逻辑视角。此外，详细探讨了稀疏索引，如shortkey index和per-column cardinal index，以及如何利用它们加速数据处理。最后，提到了预先聚合、分区分桶、RollUp表索引和列级别索引技术（如Bloomfilter、ZoneMap和Bitmap索引），这些机制共同提升了查询效率和数据处理性能。
摘要由CSDN通过智能技术生成

目录

列式存储

稀疏索引

加速数据处理

列式存储

StarRocks由 行 和 列 构成

  • 每行 数据对应用户的一条记录
  • 每列 数据有相同的数据类型

表的组成

  • 纬度列（key列）
    • 用于分组和排序
  • 指标列（value列）
    • 可以通过聚合SUM、COUNT、MIN、MAX、REPLACE、HLL_UNON、BITMAP_UNION等累加起来

表中数据按列存储

  • 物理视角
    • 一列数据会经过分块编码压缩等操作，然后持久化
  • 逻辑视角
    • 一列数据可以看成由相同类型元素构成的数组
    • 一行数据的所有列在各自的数组中保持对其，即拥有相同的数组下标，该下标称之为序号或者行号（该序号是隐式，不需要存储）
    • 表中所有行按照 维度列 做多重排序，排序后的位置就是该行的行号
    • <
最低0.47元/天 解锁文章
ttldba
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第2.3章：StarRocks表设计--排序键和前缀索引
流木的博客
12-20 4083
在介绍StarRocks的四种数据模型时，我们多次提到了排序键，也列出了一些排序键的注意事项，现在咱们来一起研究下到底什么是排序键。 1排序键 StarRocks为了加速查询，底层的数据是按照指定的列排序存储的，这部分用于排序的列（可以是一列或多列），就称为排序键（Sort Key）。以排序列作为条件进行数据查找，会非常的高效。 直观来看，各个模型的排序键就是建表语句中DUPLICATE KEY、AGGREGATE KEY、UNIQUE KEY或PRIMARY KEY后面指定的列。但是四种模型的排序键
StarRocks建表优化全流程
Ti__iT的博客
02-22 3206
查看StarRocks版本 select current_version(); 查看状态 MySQL> SHOW PROC "/brokers"\G mysql> SHOW PROC '/backends'\G mysql> SHOW PROC '/frontends'\G StarRocks的1副本意思是仅有一份数据，三副本为共有三份数据 创建表 前缀索引，where条件的放在表的前三列（前两列date/int,string放在第三列），其他需要作为查询条件的字段，通
大数据最新大数据StarRocks(五) ：数据类型_starrocks 数据类型(3)，2024年最新详细解说
最新发布
2401_84182665的博客
05-12 361
JSON 是一种轻量级的数据交换格式，JSON 类型的数据是一种半结构化的数据，支持树形结构。JSON 支持的数据类型为数字类型（NUMBER）、字符串类型（STRING）、布尔类型（BOOLEAN）、数组类型（ARRAY）、对象类型（OBJECT），以及 NULL 值。本文介绍 JSON 的基本概念，以及 StarRocks 如何创建 JSON 类型的列、导入和查询 JSON 数据，通过 JSON 函数及运算符构造和处理 JSON 数据。可以是 StarRocks 支持的任意类型，包括复杂类型。
第6.2 章：StarRocks查询加速——视图和物化视图
爱吃辣条的博客
02-22 2064
第2.6章：StarRocks查询加速--视图和物化视图
StarRocks（四）StarRocks的使用
Yuan_CSDF的博客
01-04 5101
1、Colocate join shuffle join 和 broadcast join 中，参与 join 的两张表的数据行，若满足 join 条件，则需要将它们汇合在一个节点上，完成 join。这两种 join 方式，都无法避免节点间数据网络传输带来额外的延迟和其他开销。而 colocation join 则可避免数据网络传输开销，核心思想是将同一个 Colocation Group 中表，采用一致的分桶键、一致的副本数量和一致副本放置方式，因此如果 join 列为分桶键，则计算节...
大数据Hadoop之——DorisDB核心概念介绍与简单使用（StarRocks）
匠人精神，持之以恒！
07-16 1911
StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP（Massively Parallel Processing：大规模并行处理） 架构、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议，可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展，高可用，高可靠，易运维等特性。广泛应用于实时数仓、OLAP
starrocks-spark-connector
04-14
Spark Starrocks 批量写入，完美适配spark3.12
starrocks-2.3.1.tar.gz
09-16
8. **表设计与优化**：在使用Starrocks时，理解如何设计分区策略、选择合适的数据类型以及创建索引是提高查询性能的关键。 9. **监控与调优**：Starrocks提供了丰富的监控指标，包括CPU使用率、内存使用、磁盘I/O等...
c# oracle转starRocks(doris)建表语句
07-31
本文将详细介绍如何在C#环境下处理Oracle到StarRocks的表结构迁移。 首先，让我们理解C#的角色。C#是一种面向对象的编程语言，通常用于构建Windows桌面应用、Web应用以及服务器端应用。在数据库迁移场景中，C#可以...
EMR StarRocks 白皮书.pdf
01-25
StarRocks 采用全新的设计理念，具有多种技术特点，包括： * 全面向量化引擎 * 新设计的 CBO 优化器 * 多表关联查询速度尤为出色 * 实时数据分析 * 现代化物化视图 StarRocks 应用案例 StarRocks 已经在多个行业...
Datax的StarRocks数据库写插件
06-19
2. **StarRocks数据库**：深入学习StarRocks的特点，如其MPP架构、列式存储、快速查询性能以及如何进行表设计和SQL优化。 3. **数据同步**：掌握Datax如何实现数据源与目标库之间的数据迁移，理解全量和增量同步的...
第2.10章：StarRocks表设计--Schema Change
流木的博客
01-04 5255
在分布式表中，Schema Change的限制是比较多的，有些情况还会是一个比较重的操作。StarRocks中目前进行schema change的方式有三种：sorted schema change，direct schema change和linked schema change。sorted schema change会改变列的排序方式，需对数据进行重新排序。3）只能修改列的类型、注释和位置，不支持修改列名和默认值，所以在修改列时，列名和默认值需在修改语句中按照原属性显式的写出；例如修改列的类型等。..
大数据StarRocks(三) StarRocks数据表设计
运维仙人
01-04 1690
StarRocks的表和关系型数据库类似, 由行和列构成. 每行数据对应用户一条记录, 每列数据有相同数据类型. 所有数据行的列数相同, 可以动态增删列. StarRocks中, 一张表的列可以分为维度列(也成为key列)和指标列(value列), 维度列用于分组和排序, 指标列可通过聚合函数SUM, COUNT, MIN, MAX, REPLACE, HLL_UNION, BITMAP_UNION等累加起来. 因此, StarRocks的表也可以认为是多维的key到多维指标的映射.
StarRocks -- 基础概念(数据模型及分区分桶)
u013071014的博客
01-30 1886
starrocks 数据模型及分区分桶
猿创征文｜国产数据库[StarRocks]实战学习
杀神lwz的博客
10-04 3694
StarRocks是新一代极速全场景MPP数据库StarRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上，进一步改进优化，升级架构，并增添了众多全新功能，形成了全新的企业级产品。StarRocks致力于构建极速统一分析体验，满足企业用户的多种数据分析场景，支持多种数据模型（明细模型、聚合模型、更新模型），多种导入方式（批量和实时），可整合和接入多种现有系统（Spark，Flink，Hive，ElasticSearch）。
第2.5章：StarRocks表设计--数据类型
流木的博客
01-03 6868
定义恰当数据字段类型对StarRocks查询的优化是非常重要的，从查询效率的角度考虑，我们可以遵循两条原则： 如果数据没有Null，可以指定Not Null属性； 尽量使用数字列代替字符串列。 StarRocks支持多种类型，大致可以分为：数值、时间、字符以和其他类型。 1数值类型 1.1严格数值整型 类型 大小 范围（区间） TINYINT 1 Byte [-128 , 127]
StarRocks 的学习笔记
weixin_45866849的博客
10-28 5473
StarRocks 是一款极速全场景MPP 分析型数据库，可以“一栈式”的响应企业各类低延迟场景的查询需求。 StarRocks的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理，就可以用StarRocks 来支持多种数据分析场景的极速分析。 StarRocks的架构简洁，采用了全面向量化引擎，并配备全新设计的 CBO 优化器，查询速度（尤其是多表关联查询）远超同类产品。
StarRocks新版本特性介绍（2021年3-4月）
StarRocks的博客
04-23 1430
StarRocks一直保持着比较快的更新节奏，基本保持2-3周进行一次版本迭代。 下面我们来介绍一下StarRocks-1.12 ~ 1.14 最新版本的主要功能： FlinkConnector |Flink数据高速导入，可保证不丢不重 通过Flink+StarRocks的方式构建实时数仓是当前业界主流方案，StarRocks提供了标准的Mysql协议接口，因此Flink程序可以直接用JDBC读取StarRocks中的数据，但是如何在保证高性能导入的情况下同时确保数据不丢不重是很多用户碰到的难题..
第2.11章：StarRocks表设计--外部表
流木的博客
01-04 6482
除了创建表、视图或者物化视图，StarRocks还支持创建外部表来访问外部数据源。所谓外部表，可以简单的理解为是在StarRocks中建立的与外部数据的映射，所有的数据还在各自的数据源中，但我们可以通过外部表向所在的数据源发起查询。目前StarRocks已支持的第三方数据源包括MySQL、ElasticSearch、Hive以及StarRocks。 外部表的创建和使用都比较简单，下面我们逐个介绍。 1 MySQL外部表 在星型模型中，我们一般将表类型划分为维度表和指标表。维度表数据量通常较小，但一般都
starRocks删除表命令
11-30
根据提供的引用内容，我们无法得知您想要删除的是StarRocks中的哪个表。但是，无论您想要删除哪个表，都可以使用以下命令来删除StarRocks中的表： ```sql DROP TABLE table_name;``` 其中，`table_name`是您想要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值