![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 89
独行夏
这个作者很懒,什么都没留下…
展开
-
Flink原理及架构(一)
Flink核心是一个流式的数据流执行引擎,并且能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用一.Flink介绍 Flink核心是一个流式的数据流执行引擎,并且能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用。其针对数据流的分布式计算提供了数据分布,数据通信及容错机制等功能。基于流执行引擎,Flink提供了跟多高抽象层的API便于用户编写分布式任务...原创 2018-08-16 23:25:41 · 15360 阅读 · 2 评论 -
Flink on yarn (HA)测试
前面已经介绍了Flink on yarn的相关部署,在yarn当中,启动Flink有两种模式,分别是客户端模式和分离式,下面将介绍Flink on yarn HA是如何在宕机后,重启Flink及kill掉进程后,进行主备切换的。 首先我们在Flink on yarn的配置中采用了2个JobManager。其实在Flink on yarn 模式中,一般选择一个JobManager已经足够...原创 2018-08-20 21:49:15 · 1709 阅读 · 0 评论 -
Flink状态管理和容错机制介绍
本文来自8月11日在北京举行的 Flink Meetup会议,分享来自于施晓罡,目前在阿里大数据团队部从事Blink方面的研发,现在主要负责Blink状态管理和容错相关技术的研发。本文主要内容如下: 有状态的流数据处理;Flink中的状态接口;状态管理和容错机制实现;阿里相关工作介绍;一.有状态的流数据处理1.1.什么是有状态的计算 计算任务的结果不仅仅依赖于...转载 2018-08-25 17:00:45 · 2288 阅读 · 0 评论