DorisDB 流批一体实时架构

最新推荐文章于 2024-08-12 15:43:58 发布

kequanjade

最新推荐文章于 2024-08-12 15:43:58 发布

阅读量4.7k

点赞数 3

分类专栏： DorisDB 方案设计文章标签：大数据 big data

本文链接：https://blog.csdn.net/keyuquan/article/details/121640591

版权

本文介绍了如何使用DorisDB实现流批一体的实时架构，以解决大数据分析中实时和离线代码复用的问题。通过DorisDB的架构，实现了在保证实时性能的同时，简化代码开发，并提高数据时效性。文章通过举例说明，阐述了DorisDB在实时和离线场景下的数据流程，并展示了如何利用SQL实现这一架构。

摘要由CSDN通过智能技术生成

场景：

在做大数据分析，报表项目的时候，一般会有实时和离线分析两种场景，一般情况下，是实时一套代码，离线一套代码，代码开发量比较大，怎么做到

实时和离线公用一份代码（流批一体）
性能满足实时场景的时效性（实时）

我们这里以统计每天每个游戏的登录用户数为例，登录明细表和最终结果表如下

CREATE TABLE `dwd_user_login` (
  `login_time` datetime NULL COMMENT "登陆时间",
  `game_id` bigint(20) NULL COMMENT "游戏ID",
  `user_id` bigint(20) NULL COMMENT "账户ID",
  `ip` varchar(39) NULL COMMENT "ip",
  `updated_at` datetime NULL COMMENT "更新时间"
) ENGINE=OLAP
UNIQUE KEY(`login_time`,  `game_id`,  `user_id`)
COMMENT "OLAP"
PARTITION BY RANGE(`login_time`)
(
PARTITION p20211129 VALUES [('1000-11-29 00:00:00'), ('2021-11-30 00:00:00')),
PARTITION p20211130 VALUES [('2021-11-30 00:00:00'), ('2021-12-01 00:00:00')),