![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
云中漫步87
小学:大连
中学:大连
大学:大连
展开
-
Flink checkpoint实现算法的理论基础:Lightweight Asynchronous Snapshots for Distributed Dataflows
摘要:分布式有状态的流式处理,让我们可以在云上部署和执行大规模持续计算,并实现了低延迟和高吞吐的目标。这种模式最基本的挑战之一是当发生了潜在故障,系统依旧提供正确的处理保证。当前的方法都依赖于周期性的全局快照,在故障时恢复数据。这些方法主要有两个缺点。第一,这些方法经常让整体计算停顿,影响数据摄入。第二,这些方法渴望于保存操作状态变化的所有记录。这种行为会导致产生超大量的快照信息,而这些快照信息...翻译 2020-01-17 14:39:20 · 849 阅读 · 0 评论 -
深入解析Flink网络协议栈
深入解析Flink网络协议栈原文地址:https://flink.apache.org/2019/06/05/flink-network-stack.html05 Jun 2019 Nico KruberFlink的网络协议栈是Flink的核心组件之一,构成了flink-runtime模块,并且是每个Flink job运行的关键。协议栈连接了所有TaskManager的独立工作单元(subt...翻译 2019-11-11 19:29:03 · 594 阅读 · 0 评论 -
Flink Standalone Cluster在windows下的搭建
前言Flink的demo环境,可以直接在windows或者Linux下运行。服务会自动启动一个JobManager以及一个TaskManager。$ ./bin/start-cluster.sh # Start Flink生产环境一般都需要高可用支持,屏蔽单点故障产生的影响(这里的高可用只JobManager的高可用)。Flink支持两种部署方式:standalone以及 YARN cl...原创 2019-10-23 08:53:07 · 1396 阅读 · 10 评论 -
JobManager高可用(HA)官网翻译
原文:https://ci.apache.org/projects/flink/flink-docs-release-1.9/zh/ops/jobmanager_high_availability.html#overviewJobManager高可用(HA)概述JobManager协调每个Flink部署。他负责调度和资源管理。默认情况下,每个Flink cluster有一个JobMana...翻译 2019-10-21 14:55:57 · 374 阅读 · 0 评论 -
Flink开发工程搭建
1 搭建Flink job工程flink开发工程flink采用maven管理工程,官网的template也是基于maven构建的。flink依赖比较好的地方是,所有的版本都是相同的,只要定义一个version变量就可以全部搞定。maven依赖: <dependency> <groupId>org.apache.flin...原创 2019-03-29 10:39:13 · 1191 阅读 · 0 评论 -
Flink单元测试
Flink单元测试为什么做单元测试通常情况下,我们只能假设函数在用户定义的输出下会产生对应的结果。因此我们推荐使用单元测试对写有逻辑的Function进行测试,且测试数据和场景越多越好。Flink单元测试支持Flink会在本地启动一个mini cluster resource,以此支持单元测试的运行。maven依赖<dependency> <groupId>...原创 2019-04-25 17:37:49 · 4211 阅读 · 6 评论