什么是Paimon?
Paimon的官网介绍是:Streaming data lake platform
with high-speed data ingestion, changelog tracking and efficient real-time analytics.
Paimon 是流数据湖平台,具有高速数据摄取、变更日志跟踪和高效的实时分析能力
数据湖是大数据近年来的网红项目,熟知的开源数据湖三剑客 Apache hudi
、Apache iceberg
、Databricks delta
近年来野蛮生长,目前各自背后也都有商业公司支持,投入了大量的人力物力去做研发和宣传。
Paimon
的前身是flink-table-store
即FTS
最开始是作为 Flink 的子项目加入了 Apache 社区,由 Flink 团队主导研发,开源后不够火
也许是因为数据湖市场早已被三剑客占据了大半,也许是宣传的力度不够,也许是 Flink 子项目限制了它作为数据湖产品的发展。
可能也正是这些种种的原因促成 flink-table-store 作为独立项目重新加入 Apache,不再依附 Flink,并且更名为Paimon
提供的核心功能
- Unified