“ 导读: 本文将介绍 Jiron 数据开发平台的功能及基于平台的一站式实时数仓实践案例。”
Jiron GitHub 地址
https://github.com/642933588/jiron-cloud
https://gitee.com/642933588/jiron-cloud
公众号:Jiron开源
欢迎大家送上小星星~
介绍
演示环境基于电商系统,围绕电商业务指标统计需求构建了一个实时数仓(数据湖)项目。平台集成 Kafka 和 MySQL 分别作为用户行为日志数据和业务数据源,通过调度任务定时产生模拟数据,之后通过实时开发模块构建 ODS、DWD、DWS、DIM、ADS 各层进行数据采集入湖及逻辑计算。最后,通过配置元数据采集任务,实现数据资产的全方位管理。
数据模拟
演示环境模拟了电商系统中最常见的两类数据:客户端埋点数据和后端系统业务数据。通过工作流模块配置`datagen` 工作流调度`uselog`任务生成埋点数据,实时插入至Kafka主题 “ODS_BASE_LOG”,调度`business` 任务生成业务数据并插入MySQL数据库,每天凌晨自动生成当天的数据。
数据开发
由于资源有限,当前演示环境仅运行了集成 Kafka 数据的任务:`logInc` 实时同步Kafka主题“ODS_BASE_LOG”至`iceberg_ods.ods_log_inc`。其他数据层的开发可以参考实时计算开发的任务详情。
数据资产管理
通过工作流模块配置元数据采集任务,包括库表结构、样例数据、数据血缘分析,以及平台支持的数据洞察指标等,全面提升数据资产管理能力。
最后
演示环境地址
http://117.72.91.43:9299
账号:test 密码:test@2024
鉴于平台对资源有着较高的需求标准,而当前演示环境的资源配置相对紧凑,我们已实施了一系列权限管理措施以确保系统稳定运行。此外,用户在体验前端界面时,可能会短暂遭遇几秒的页面空白加载期,这是资源加载过程中的正常现象,请您耐心等候片刻。
在此,我们衷心感谢知识星球平台上每一位同学的积极贡献与宝贵支持,正是有了你们的热情参与,我们才能不断进步。关于访问平台的详细地址及专属账户信息,我们将第一时间在知识星球上公布,敬请留意。再次感谢大家的支持与厚爱!