flink入门

目录

一.flink概述

1. 基本概念
2. 特性
3. 与hadoop兼容性
4. 流式计算框架的性能对比

二.flink原理与技术架构

1. flink架构
2. flink技术栈
3. flink核心概念 - DataStream
4. DataStream Transformation
5. flink原理
   5.1 原理1
   5.2 原理2
6. flink并行数据流
7. flink操作符链
8. flink窗口
9. checkpoint
   9.1 机制
   9.2 运行机制
   9.3 对齐机制

三.flink运行流程

1. flink 关键角色
2. flink on yurn

一.flink概述

1.基本概念

Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。

2.特性

• 流处理引擎

• 容错，可靠性（HA)：以checkpoint（快照）机制来保证容错性。

  异步快照：

  1. 普通快照在快照的时候要将所有业务都停止，但在异步快照时只对需要快照的一部分停止，其他部分继续工作，使得业务不耽误
  2. 保证所有操作都只有一次

• 可扩展性：分布式，可增加节点。可以分配到不同的节点上运行。

• 性能：高吞吐，低延迟。

3.与hadoop兼容性

• Flink能够支持Yarn，能够从HDFS和HBase中获取数据；

• 能够使用所有的Hadoop的格式化输入和输出；

• 能够使用Hadoop原有的Mappers和Reducers，并且能与Flink的操作混合使用；

• 能够更快的运行Hadoop的作业。

4.流式计算框架的性能对比

storm已经很快了，但flink更快，可以看到我们的计算框架是不断在进步的。

二.flink原理与技术架构

1.flink架构

• Data storage：底层的数据存储

• Single node execution/standalone or YARN cluster：部署方式