Flink
初心江湖路
多学一分增一分。
展开
-
Flink检查点分析
方法:轻量级异步分布式快照首先我们还是按照常规方法想一下这个流程中的数据形式:1、对于源头:Flink应用就像是通过一根管道怼在数据源,然后数据源源不断地往Flink应用中流2、对于算子:算子分两种,一种是有状态的聚合、join等,一种是无状态的map、filter有状态和无状态很好理解,其实区别在于是否需要缓存计算结果,对于无状态的算子,无需对计算结果进行缓存,而对于有状态的算子,必须对算子的结果进行存储,也就是下一条数据在计算的时候需要以之前的结果作为基础。通过这两点我们可以看到,对于流计算,原创 2020-06-03 17:40:22 · 932 阅读 · 0 评论 -
Flink的计算方式
首先看一张来自官网的Flink运行时架构图看图说话,先总结下Flink计算引擎的几个抽象:管理抽象:JobManager (Master) 负责调度任务执行、负责指挥进行检查点、负责任务失败容错恢复等。TaskManager (Worker) 负责具体任务的执行、缓冲和交换数据流等。每个管理者都对应着独立的JVM进程。执行抽象:Task,本质上都回归到线程执行具体的task。我们先不论资源管理方式。可以看到,资源被划分为细粒度的Slot。Flink Job也跟Spark Job一样,均以T原创 2020-05-09 18:59:01 · 1870 阅读 · 1 评论 -
Flink若干认识和基础功能
先看flink支持流批处理基于Event-Time事件处理的支持exactly-once一致性语义的保证高可用性的体现支持多种资源管理框架:Yarn、Mesos、Kubernetes、Stand-alone运行应用的规模上来讲:Flink也是被设计运行有状态的流应用,整个应用并行化为成千上万的任务,在集群上分布式并行执行。状态管理方面:Flink将任务的状态保存在内存中,如果内存容纳...原创 2020-05-02 15:56:09 · 654 阅读 · 0 评论