flink:实时计算技术
天然流式特性,更加领先的架构设计
应用场景和特点
实时监控大屏,实时接收服务器负载情况,flink批流一体,即同时支持流式及批量分析应用,可承担数据实时采集,实时计算,下游发送。
flink在实时数仓和实时etl有优势:
flink支持在数仓聚合计算的强大的状态管理;
flink提供Stream API、Table API 、Flink SQL的丰富多层次API;
flink支持多种存储,包括hdfs,es等;
事件驱动型应用
具有状态的应用,从事件流提取数据,根据到来的事件触发计算,状态更新等;
flink的特性完美支持了事件驱动型应用:
flink自带的State Backend可存储中间状态信息;
flink支持滚动窗口,滑动窗口等;
flink支持 Event Time、Processing Time、Ingestion Time时间语义;
Flink 支持 At Least Once 或 Exactly Once 容错级别。