-
flink优点
现在主流的实时处理引擎有storm,sparkstreaming,flink。storm实现了低延迟,但是没有实现高吞吐,也没有能够在出现故障是准确处理计算状态(将数据从一个事件保存到另一个事件)。spark streaming通过微批处理实现了高吞吐,高可用,但是不能做到低延迟,也不能使用窗口(把无限个stream拆分成有限个buckets,就可以在这些buckets上面做计算操作)与自然时间相匹配。而flink就解决了这个问题。flink优点有:
1.高吞吐,低延迟
2.灵活的窗口操作
3.支持有状态的计算
4.天然的被压处理
5.state机制(1.时间触发:state支持timer,定期处理过期的数据,2.时间触发:新订单触发的数据处理可以做定期的数据处理,每一个state可以做自己的窗口) -
flink组成
jobmanager
负责接受client提交的任务,接受taskmanager的心跳信息,调度管理task manager
taskmanager
负责任务的实际执行,首先taskmanager会像jobmanager注册,并定时报活,处理jobmanager分配的任务。
client
当用户创建一个flink程序的时候,首先会创建一个client,对用户提交的job进行预处理,提交给jobmanager
flink简介
最新推荐文章于 2021-01-05 22:12:26 发布