Apache Flink——分布式大数据处理引擎
系统地介绍分布式大数据处理引擎Flink的理论及其实际应用
Dimo不吃香菜
这个作者很懒,什么都没留下…
展开
-
Flink的Use Case及项目创建
一、Flink的Use Case: 1、Event-driven Applications事件驱动(1)传统驱动:当事件发生时,处理数据,在必要时触发trigger作出相应的行为。(2)事件驱动:当事件发生时,将事件存储在消息队列中,每次处理消息队列中的数据,Flink应用不断消费消息队列中的数据。每隔一段时间往持续存储器中存储数据(异步),处理数据,在必要时触发tri...原创 2020-02-28 17:50:58 · 315 阅读 · 0 评论 -
Flink基础理论
一、分布式大数据处理引擎Apache Flink1、可以对有限数据流和无限数据流进行有状态计算详细解释见下图Apache Flink是一种统一的大数据分析和流计算、批计算及机器学习引擎。2、无界流和有界流任何类型的数据都是作为事件流产生的,数据可以作为无界或有界流处理。(1)无界流有一个开始但没有定义的结束。不会在生成时终止并提供数据。必须持续处理无界流,即必须...原创 2020-02-28 17:48:38 · 227 阅读 · 0 评论 -
批处理和流处理
1、传统批处理方法: (1)持续收取数据 (2)以时间作为划分数个批次档案的依据 (3)周期性执行批次运算2、流式处理: (1)传统流式处理 (2)分散式流处理 (3)有状态地分散式流处理...翻译 2020-02-28 17:45:49 · 373 阅读 · 0 评论