Flink学习知识分享一(VS Spark、适用场景、基本概念)

1.Flink VS Spark

Flink是基于流的有状态的计算。相对于Spark,Flink还是比较年轻,双方各有优势,取长补短。

1.1定位
  • Spark:流是批的特例
  • Flink:批是流的特例
1.2数据模型:
  • Spark:Rdd集合,依靠lineage做恢复,存在宽窄依赖
  • Flink:数据量和event的序列,依靠checkpoint做恢复,保证一致性,其次可以是来一条数据处理一条,传输到下一个节点,也可以优化成批次处理,其中ck(checkpoint)可以不用落盘,这样可以提高性能以及低延迟。
1.3处理模型:
  • Spark:支持各种数据处理,对机器学习迭代训练支持比较好(基于RDD本身模型)
  • Flink:有状态的计算,尤其API层级多样,支持丰富,主要是流计算的优势。
1.4抽象层次:
  • Spark:批流本质底层走的是一套API
  • Flink:DataStream和DataSet是两套完全不同的API
1.5内存管理:
  • Spark: 由java管理到tungsten来管理内存
  • Flink: 由Flink自身管理内存
1.6支持的语言:
  • Spark:Java、Scala、Python
  • Flink:Java、Scala
1.7SQL的支持

Spark的SQL支持比Flink更深

1.8外部数据源
  • Spark:非常的丰富,且支持自定义外部数据源
  • Flink:map/reduce 、InputFormat,也支持自定义Source

2.适用场景

2.1Event-driven Applications(事件驱动程序)
  • 定义:事件驱动程序是statefull app,通过checkpoints保证容错,拉取远程数据到本地做持久化存储。
  • 优势:读取本地数据而非远程数据库、分层体系中多个应用可以共享一个数据库
  • 如何支持:有些高级源语;支持time、window、processfunction;savepoints:一个一致的映像文件
  • 案列: 各种检测、web应用(社交应用)等
2.2Data Analytics Applications(数据分析程序)
  • 定义:无界处理、依赖内部state做flink故障恢复机制
  • 优势:降低数据处理延迟。
  • 如何支持:提供了标准的ANSI的sql接口,对于批处理和流处理提供了统一的语义
  • 案列:网络质量监控、大规模图分析等
2.3Data Pipeline Applications(数据管道程序)
  • 定义:类似于数据etl,但并非周期性操作,而是连续性操作,降低目标间数据移动的延迟
  • 优势:降低延迟,更加通用。
  • 如何支持:基于多层API结构以及多种多样的Connectors
  • 案列:电商的实时搜索的索引构建、电商的连续的ETL

3.基本概念

3.1层级API

最终的API是SQL,一切的计算如果不提供SQL框架,那么都不会受欢迎的。

  • ProcessFunction-》DataStream PAI/DataSet API-》Table API-》SQL
3.2程序和数据流

env-》Source-》transformations-》sink-》execute

3.3并行数据流
  • 本质即为并行和分布式的,一个流对应一个或者多个流的分区,每个操作符有一个或者多少个操作符的子任务
  • 支持两种重分发模式:一对一流(如map)、重新分发流(keyby、window等)
3.4窗口

无法计算流中所有元素,故需通过window去限定范围。窗口主要分为两大类,时间驱动窗口事件驱动窗口

3.5时间
  • Event Time:数据产生的时间
  • Ingestion time :数据摄入时间
  • Processing Time :数据处理的时间
3.6Stateful Operations(有状态的操作)

通过window等操作使一次操作可以跨过多个时间去操作信息,这些操作被称为有状态的操作。

3.7检查点和容错

Flink是通过Stream replay 和 CheckPoint实现容错的。

3.8基于流的批处理

流中有界数据即为批数据量,flink可处理流数据和批数据
特例:

  • 批处理不适用检查点保证容错,而是直接回放数据
  • DataSet API 并非KV索引的结构
  • DataSet API 引入的特殊的同步迭代只能在有界流上去实现
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值