【数据中台】开源项目(1)-LarkMidTable

        LarkMidTable 是一站式开源的数据中台,实现中台的 基础建设,数据治理,数据开发,监控告警,数据服务,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。
       系统演示地址 www.larkmidtable.com
      开源地址: https://github.com/birdLark/LarkMidTable

  产品愿景

  1. 满足许多的小企业,提供一站式的解决方案。
  2. 做出世界级别,能够媲美BAT大厂的产品。
  3. 创造价值,产生价值,让世界变得更加美好。

产品架构

产品技术选型

组件
用途
clickhouse/doris
离线数仓
kafka
实时数仓
datax,flinkx
数据集成
flink,flinkcdc,seatunnel
数据开发
promicuse
数据监控
druid
数据服务
datart
数据可视化
cdh
大数据平台
dolphin
任务调度

以下是一些Java开源的数据中台项目: 1. Apache Druid:Apache Druid是一个高性能、实时分析的列式存储数据库。它可以用于快速查询和分析大规模的实时和历史数据。 2. Apache Flink:Apache Flink是一个分布式流处理和批处理框架。它提供了高吞吐量、低延迟的数据处理能力,并支持事件时间处理和状态管理。 3. Apache Kafka:Apache Kafka是一个分布式流处理平台,用于构建实时数据管道和流式应用程序。它具有高吞吐量、可扩展性和容错性。 4. Apache Nifi:Apache Nifi是一个易于使用、可扩展的数据集成和数据流管理工具。它可以帮助用户从各种来源收集、处理和分发数据。 5. Apache Pinot:Apache Pinot是一个实时分析的列式存储数据库。它专注于快速查询和分析大规模的实时数据,并提供了高可用性和可扩展性。 6. Presto:Presto是一个分布式SQL查询引擎,用于快速查询大规模的数据。它支持多种数据源,并具有高性能和低延迟的特点。 7. Apache Hudi:Apache Hudi是一个用于处理大规模数据的开源库。它提供了数据增量更新、删除和快照查询的能力,并支持多种数据格式。 8. Apache Iceberg:Apache Iceberg是一个开源的表格格式,用于存储大规模数据。它提供了事务性写入、快照查询和时间旅行等功能。 9. Apache Beam:Apache Beam是一个用于批处理和流处理的统一编程模型。它可以在多个执行引擎上运行,并支持多种数据处理模式。 10. Apache Kylin:Apache Kylin是一个分布式分析引擎,用于快速查询大规模的数据集。它支持OLAP和多维分析,并提供了高性能的查询能力。 这些项目都是开源的,可以根据具体需求选择适合的项目进行使用和定制化开发。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农丁丁

你的认可是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值