Flink & Hudi
- Flink官网(中文): https://flink.apache.org/zh/flink-architecture.html
- Hudi官网: https://hudi.apache.org/cn/
认识 Flink
Apache Flink 是一个框架
& 分布式处理引擎
,用于在无边界数据流
和有边界数据流
上进行有状态
的计算。
- 能在所有
常见集群环境
中运行
- 能以
内存速度
和任意规模
进行计算
应用:
- 事件驱动型应用: 是一类具
有状态
的应用,它从一个或多个事件流
提取数据,并根据到来的事件触发计算
、状态更新
或其他外部动作。- 从传统的事务型应用进行而来(即计算与存储分离的)
- 定期向远程持久化写入&异步检查(periodically write & asynchronous checkpoints)
- 数据分析应用
- 数据管道应用
使用: https://flink.apache.org/zh/flink-applications.html#layered-apis
Table API & SQL: https://nightlies.apache.