flink简介

  • flink优点
    现在主流的实时处理引擎有storm,sparkstreaming,flink。storm实现了低延迟,但是没有实现高吞吐,也没有能够在出现故障是准确处理计算状态(将数据从一个事件保存到另一个事件)。spark streaming通过微批处理实现了高吞吐,高可用,但是不能做到低延迟,也不能使用窗口(把无限个stream拆分成有限个buckets,就可以在这些buckets上面做计算操作)与自然时间相匹配。而flink就解决了这个问题。flink优点有:
    1.高吞吐,低延迟
    2.灵活的窗口操作
    3.支持有状态的计算
    4.天然的被压处理
    5.state机制(1.时间触发:state支持timer,定期处理过期的数据,2.时间触发:新订单触发的数据处理可以做定期的数据处理,每一个state可以做自己的窗口)

  • flink组成
    jobmanager
    负责接受client提交的任务,接受taskmanager的心跳信息,调度管理task manager
    taskmanager
    负责任务的实际执行,首先taskmanager会像jobmanager注册,并定时报活,处理jobmanager分配的任务。
    client
    当用户创建一个flink程序的时候,首先会创建一个client,对用户提交的job进行预处理,提交给jobmanager
    流程图

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值