Starrocks读取paimon写入的bitmap数据

最新推荐文章于 2025-10-29 11:20:26 发布
原创 最新推荐文章于 2025-10-29 11:20:26 发布 · 235 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据结构

背景

bitmap这种结构在Starrocks中有广泛的用途，用于例如来访用户数，count distinct优化等等，那么如果结合paimon和flink，怎么样做到使用starrock读取flink写到paimon中的bitmap数据呢？

技术实现

首先需要明确一点，starrock内部使用的bitmap实现是starrock内部独有的，虽然和公共的RoaringBitmap的实现很像，原理也一样，但是实现上还是有差别的，所以需要明确一点，flink构建的bitmap对象也一定是starrock提供的bitmap类才可能做到
在这里插入图片描述

paimon实战 -- 阿里基于StarRocks 与 Paimon 实现的实时分析黑科技
阿华田的博客
09-05 175
但需要注意的是，通过 Resource Group 实现的资源隔离通常为软隔离，即假设有三个资源组 rg1、rg2、rg3，资源配额为 1:2:3，当 BE/CN 节点满载时，集群资源会按照配额分配；即在同一个实例中共享一份数据存储，共享 FE 节点的查询规划和资源调度，将 CN 节点进行物理隔离，满足读写分离场景和不同业务负载需求，同时支持根据实际业务需求动态调整资源，确保资源高效利用并降低成本。此外，粒度的选择尤为重要。项目后期，在业务侧，用户L分层的口径频繁变更，业务也会圈选新的人群包进行下钻分析；
apache paimon简介（官翻）
JustinMars的博客
09-23 1756
Apache Paimon 是一个专为大数据应用设计的多功能表存储系统。它支持批处理和流处理，通常与 Apache Flink、Apache Hive 和 Apache Spark 等工具一起使用。
StarRocks Evolution：One Data，All Analytics
StarRocks的博客
11-24 1346
在性能方面，StarRocks 支持了按列更新的模式，更新时只需修改对应列的数据，性能相比按行更新的模式提升10+倍，分析型数据库通常采用列存，列存部分列更新时，需要把原来所有的数据读取出来构造完成的行再重新写入，代价非常大；而数据湖的路线，通常是未经加工的数据先统一存储在数据湖，作为企业数据的 Single source of truth，然后按需的使用数据，构建数据应用，优势是通开放生态、扩展性强，性价比高。在完全冷读的情况下，查询延时是存算一体的2-3倍，能满足绝大部分的场景的性能诉求。
揭秘“湖仓一体”——Flink+Paimon+StarRocks，打造实时分析新纪元
张成基
06-17 6705
数据湖仓是 Flink 流批一体发挥重要作用的场景,使用 Flink + Paimon + starRocks 来构建湖仓一体数据分析.
淘宝闪购实时分析黑科技：StarRocks + Paimon撑起秋天第一波奶茶自由
StarRocks的博客
09-04 1048
当“秋天的第一杯奶茶”冲上热搜时，很多人看到的是用户的热情与订单的暴涨，而在背后，技术团队同样在全力以赴。自 4 月 30 日淘宝闪购上线以来，短短 100 天，业务团队创造了一个奇迹，技术团队则在高并发与海量数据的冲击下迎来前所未有的挑战。​ 闪购项目期间，亿级营销投入叠加多端流量，实时决策与调控对数据提出了分钟级的要求。为应对挑战，饿了么数据团队依托一年多的湖仓探索与沉淀，选择 StarRocks + Paimon 搭建实时湖仓架构，并通过物化视图优化、RoaringBitmap 去重和大查询治理
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
Ververica的博客
10-17 1313
本文整理自阿里云计算平台事业部 OLAP 引擎开发工程师焦明烨老师在8月3日 Streaming Lakehouse Meetup Online（Paimon x StarRocks，共话实时湖仓架构）上的分享。
StarRocks Lakehouse 快速入门——Apache Paimon
StarRocks的博客
08-15 1839
Apache Paimon （后简称 Paimon）起源于 Apache Flink （后简称 Flink）的一个子项目，起初它只是 Flink 内置的 Table Store 的一个格式，经过了几年的发展后，在 2024 年成功从 Apache 软件基金会（ASF）孵化器毕业，成为正式的顶级项目。Paimon 围绕具有 ACID 特性的数据湖存储构建，支持 DML 操作， 可以完整地支持批处理和流处理。它创新性地将 LSM Tree 与湖格式相结合，具有高效的实时更新能力与 compaction 效率。
数据湖 PAIMON + STARROCKS学习
最新发布
wangqiaowq的博客
10-29 229
下载 Doris master代码。
StarRocks 在金融科技行业的存算分离应用实践
StarRocks的博客
08-29 770
存算分离上线用户分享如何用从 Hadoop 平滑迁移至 StarRocks
Paimon——官网阅读：非主键表
从知识输入到知识输出
08-28 895
Paimon——官网阅读：非主键表
hive外部表/内部表路径知识点
lixia0417mul2的博客
06-12 2838
1.hive创建外部表或者管理表是指定的位置信息是数据路径： create external table location ‘/user/externalhive/location/dir’ 这里只定义到了目录级别，真正查询数据的时候，数据是从该目录下的所有文件中查询出来的 2.load data local inpath ‘/data/to/inputdir’ into table xx partition(dt=‘20210612’) 这里导入数据的时候指定导入的目录也是目录，这个语句会把该目录下的文件
flink的异常concurrent.TimeoutException: Heartbeat of TaskManager with id的解决
lixia0417mul2的博客
11-23 2427
flink本地集成测试错误
hive和hadoop关系
lixia0417mul2的博客
02-15 2125
1.hive使用的默认执行引擎是mapreduce作业，相当于执行的hive的sql都会转化成mapreduce的作业的形式 2.hive的表使用的默认存储是hdfs的文件系统，相当于表的数据是存储在hdfs文件系统中的 3.hive是一种读时模式，也就是说只有在真正要从hdfs文件系统读取数据的时候才会进行类型转换，此时也才知道对应的字段是不是整数等，而mysql数据库系统是一种写时模式，也就是当数据写入文件的时候就已经严格校验数据必须是比如整数的形式了 ...
spark自定义函数
lixia0417mul2的博客
01-03 1919
1.使用java，scala或者python等都可以编写自定义函数，编写完成后通过spark.udf函数注册即可使用 2.spark也支持hive自定义函数，使用类似create temporary function 函数名 as ‘’ 来注册自定义函数 3.自定义函数的执行逻辑： spark将在驱动器节点上序列化该函数，并把他通过网络发送到执行进程，然后执行进程就可以使用该自定义函数的方法执行具体逻辑 4.使用java和scale编写的自定义函数和使用python编写的自定义函数的区别在于性能上的差别：使
flink的window和windowAll的区别
lixia0417mul2的博客
11-17 1897
window 和windowAll的区别
flink主要组件及高可用配置
lixia0417mul2的博客
06-18 1814
flink主要组件组成 flink高可用配置
flink中使用外部定时器实现定时刷新
lixia0417mul2的博客
10-09 1810
flink中外部定时器实现
flink的java.lang.IllegalStateException: Buffer pool is destroyed 异常
lixia0417mul2的博客
11-23 1733
Buffer pool is destroyed 异常
starrocks查paimon
08-17
<think>首先，用户的问题是关于StarRocks如何支持Paimon表或集成Paimon。从引用中，我可以看到一些相关信息。 回顾引用： - 引用[1]提到在实时处理中使用Flink清洗数据后写入Paimon，Paimon进行表间关联，结果写入StarRocks。StarRocks提供查询支持。 - 引用[2]是关于Apache Paimon数据湖查询引擎StarRocks的操作，如查看catalog、删除catalog等。 - 引用[3]讨论StarRocks运维，提到外表集群和内表集群的差异。 - 引用[4]提到Paimon在性能和开发成本上的优势，以及喜马拉雅选择Paimon。 - 引用[5]详细描述了如何集成Paimon和StarRocks：使用Flink SQL写入Paimon，然后在StarRocks中创建外部catalog指向Paimon数据路径。 用户意图是查询StarRocks中对Paimon的支持或集成方式。所以，我需要基于这些引用，解释StarRocks如何支持Paimon表。 关键点： - StarRocks支持通过创建外部catalog来查询Paimon表。这意味着Paimon表不是直接存储在StarRocks中，而是作为外部表被查询。 - 引用[5]明确说：Paimon catalog和StarRocks集成只支持查询，不支持写入、创建数据库等。 - 设置过程：使用Flink SQL写入数据到Paimon，然后在StarRocks中创建外部catalog指向Paimon的warehouse路径。 现在，系统级指令： 1. 所有行内数学表达式使用$...$格式。但在这个主题中，可能没有数学表达式，所以如果不需要，可以省略。 2. 独立公式使用$$...$$格式并单独成段。同样，可能不需要。 3. LaTeX语法正确。确保任何公式正确。 4. 使用中文回答。 5. 生成相关问题。 6. 回答中引用的段落末尾自然地添加引用标识，例如[^1]。 回答结构： - 清晰、逐步解决问题。 - 基于引用，确保真实可靠。 内容大纲： 1. **介绍StarRocks对Paimon的支持方式**：StarRocks通过外部catalog机制支持查询Paimon表，但不支持写入操作。 2. **集成步骤**：参考引用[5]，描述如何设置。 - 使用Flink SQL写入数据到Paimon。 - 在StarRocks中创建外部catalog。 - 查询Paimon表。 3. **操作示例**：提供一些命令示例，如创建catalog、查询表等。 4. **限制**：只支持查询，不支持写入或DDL操作。 5. **优势**：基于引用[4]，Paimon在性能和成本上的优势，结合StarRocks的OLAP能力。 6. **相关问题**：在末尾生成相关问题。 添加引用标识： - 当引用具体内容时，在末尾添加[^数字]。 例如： - 在描述集成步骤时，引用[5]。 - 在提到优势时，引用[4]。 最后，生成相关问题： - 基于主题，如：如何优化StarRocks查询Paimon的性能？Paimon支持哪些数据格式？StarRocks与其他数据湖的集成方式？ 完整回答结构： 1. 开头解释支持方式。 2. 详细步骤。 3. 示例代码或命令。 4. 限制和优势。 5. 结尾生成相关问题。</think>### StarRocks 如何支持 Paimon 表或集成 Paimon StarRocks 支持通过 **外部 catalog 机制** 与 Paimon 数据湖集成，允许用户直接查询 Paimon 表中的数据。这种集成主要基于 StarRocks 的 OLAP 能力和 Paimon 的高效存储特性，适用于实时数据分析和查询场景。以下是详细的集成方式和支持步骤： #### 1. **支持方式概述** - **查询支持**：StarRocks 可以创建外部 catalog 指向 Paimon 的存储路径（如 HDFS 或对象存储），从而查询 Paimon 表。这利用了 StarRocks 的物化视图和 OLAP 引擎，为下游应用提供快速查询能力[^1]。 - **写入支持**：当前集成 **只支持查询操作，不支持写入、创建数据库或表**。写入数据到 Paimon 需要借助其他工具（如 Flink），然后通过 StarRocks 进行查询[^5]。 - **优势**：Paimon 在性能和开发成本上具有优势（如高效的数据湖存储和实时处理），而 StarRocks 提供低延迟的 OLAP 查询，两者结合适合实时分析场景[^4]。 #### 2. **集成步骤** 集成过程分为两个阶段：**数据写入 Paimon** 和 **StarRocks 查询配置**。以下是基于引用[^5]的详细步骤： **步骤 1: 使用 Flink SQL 写入数据到 Paimon** 由于 StarRocks 无法直接写入 Paimon，需先通过 Flink 完成数据写入。 ```sql -- 启动 Flink 会话（假设已部署 Flink） ./yarn-session.sh -d ./sql-client.sh -s yarn-session -- 创建 Paimon catalog CREATE CATALOG my_catalog WITH ( 'type' = 'paimon', 'warehouse' = 'hdfs://bigdata01:9000/user/paimon' -- 替换为实际存储路径 ); USE CATALOG my_catalog; -- 示例：写入测试数据到 Paimon 表 CREATE TEMPORARY TABLE word_table (word STRING) WITH ( 'connector' = 'datagen', 'fields.word.length' = '1' ); SET 'execution.checkpointing.interval' = '10 s'; -- 设置检查点间隔 INSERT INTO word_count SELECT word, COUNT(*) FROM word_table GROUP BY word; ``` 此步骤将数据写入 Paimon 的存储路径（如 HDFS），后续 StarRocks 通过外部 catalog 访问该路径[^5]。 **步骤 2: 在 StarRocks 中配置 Paimon 外部 catalog** 在 StarRocks 中创建外部 catalog，指向 Paimon 的存储位置，并查询数据。 ```sql -- 创建 Paimon 外部 catalog CREATE EXTERNAL CATALOG paimon_catalog_fs PROPERTIES ( "type" = "paimon", "paimon.catalog.type" = "filesystem", "paimon.catalog.warehouse" = "hdfs://bigdata01:9000/user/paimon" -- 与 Flink 路径一致 ); -- 查看所有 catalog SHOW CATALOGS; -- 切换到 Paimon catalog SET CATALOG paimon_catalog_fs; -- 查询 Paimon 表（示例：查询数据库 odsdb 下的表） USE paimon_catalog_fs.odsdb; -- 或直接指定数据库 SHOW TABLES FROM paimon_catalog_fs.odsdb; SELECT * FROM your_paimon_table; -- 替换为实际表名 ``` 此配置允许 StarRocks 直接查询 Paimon 表，无需数据迁移[^2][^5]。 #### 3. **关键限制与注意事项** - **只读操作**：StarRocks 仅支持查询 Paimon 表，不支持写入、修改或 DDL 操作（如创建表）。写入需通过 Flink 或其他引擎完成[^5]。 - **版本兼容性**：确保 StarRocks 和 Paimon 版本兼容。建议使用 StarRocks 社区版（如 3.3.5）以减少自研功能带来的升级风险[^3]。 - **性能优化**：对于大规模查询，可利用 StarRocks 的物化视图加速，但需注意 Paimon 的数据更新频率以避免数据不一致[^1]。 - **生态系统成熟度**：Paimon 作为较新产品，社区支持仍在发展中，但反馈速度较快，适合快速迭代场景[^4]。 #### 4. **应用场景** - **实时数据分析**：例如，在实时处理流水线中，Flink 清洗数据后写入 Paimon，StarRocks 提供 OLAP 查询，支持下游报表或仪表盘[^1]。 - **数据湖查询**：适合需要结合历史数据和实时数据的场景，Paimon 存储原始数据，StarRocks 提供高效聚合查询。 通过以上方式，StarRocks 与 Paimon 的集成实现了数据湖的灵活查询，同时保持了高性能和低延迟。如需更多操作细节，可参考 StarRocks 官方文档或社区资源[^2][^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值