Flink
天高地阔
这个作者很懒,什么都没留下…
展开
-
Flink学习-Flink编程模型
目录 Flink技术栈 编程模型 抽象级别 程序和数据流 并行数据流 窗口 时间 容错检查点 流上的批处理 Flink是一款分布式的计算引擎,它可以用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即实时地处理一些实时数据流,实时地产生数据的结果;也可以用来做一些基于事件的应用。总而言之,Flink是一个Stateful Computations Over S...原创 2019-02-06 10:30:27 · 314 阅读 · 0 评论 -
Flink学习-分布式运行环境
目录 任务和算子链 Job Managers, Task Managers, Clients Task Slots and Resources State Backends Savepoints 任务和算子链 分布式计算中,Flink会将算子(operator) 的子task链式组成tasks,每个task由一个线程执行。把算子链化为tasks是一个非常好的优化:它减少了线程之间的通...原创 2019-02-07 15:37:02 · 270 阅读 · 0 评论 -
Storm,Spark和Flink三种流式大数据处理框架对比
storm、spark streaming、flink都是开源的分布式系统,具有低延迟、可扩展和容错性诸多优点,允许你在运行数据流代码时,将任务分配到一系列具有容错能力的计算机上并行运行,都提供了简单的API来简化底层实现的复杂程度。 Apache Storm 在Storm中,先要设计一个用于实时计算的图状结构,我们称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(...转载 2019-02-08 23:51:48 · 8755 阅读 · 0 评论 -
Tumbling Windows和Sliding Windows区别与联系
在流系统中通常会经常使用到Windows来统计一定范围的数据,比如按照固定时间、按个数等统计。一般会存在两种类型的Windows:Tumbling Windows vs Sliding Windows,它们很容易被初学者混淆,那么Tumbling Windows vs Sliding Windows之间到底有啥区别与联系呢?这就是本文将要展开的。 Tumbling的中文意思是摔跤,翻跟头,翻...转载 2019-02-09 00:01:11 · 1750 阅读 · 0 评论