Flink实战(一)

Flink实战(一)

Flink概述

Flink是什么

定义
  1. Apache Flink是一个分布式的大数据计算引擎
  2. 能够对有限和无限数据集进行有状态的计算
  3. 可以部署在各种集群环境
  4. 可以对各种规模的数据进行快速准确的计算
Stateful Computations over Data Streams

Apache Flink

  1. 数据源:交易数据、日志数据、物联网设备数据、点击流数据等
  2. 应用:事件驱动应用、数据流管道应用、流、批数据分析
  3. 官网
Flink的诞生和发展

Flink诞生

  1. 诞生:诞生于2009年,德国柏林工业大学的名为StratoSphere研究性项目,最初主要专注于批处理;直到14年捐献给Apache之后,更名为Flink,并迅速孵化成Apache顶级项目,并且定位是流计算
  2. 发展:发展历程
    Flink发展历程
  • 可以看出,Flink诞生比Spark、Storm都早,但是是在捐献给apache之后,得到迅速发展,并且目前在流计算领域拥有很大影响力
  • 其中2015年,是大数据流计算框架层出不穷的时期,包括Storm、SparkStreaming、Flink、Dataflow(谷歌的)等等,而Flink是最接近谷歌Dataflow的开源实现
Flink特性
  1. 流、批统一
  2. 支持java、scalaAPI、Python(还在完善中)
  3. 高吞吐、低延时
  4. 复杂事件处理、处理乱序
  5. 不同的时间语义(Event Time、Ingestion Time、Process Time)下支持灵活的窗口(Time Window、Rolling Window、Sliding Window、Session Window、以及自定义窗口)
  6. Exactly Once语义
  7. 自动反压机制(阻塞生产端从而保证正在运行的flink task不受影响)
  8. 支持图计算、机器学习、复杂事件处理
  9. 高效的自定义内存管理
  10. 集成的Hadoop、Hdfs、MR、Hbase等Hadoop生态圈组件

Flink的生态与未来

核心组件
  1. 组件
    Flink核心组件
  • 部署支持:本地JVM(调试的时候用)、集群(Standalone || Yarn)、云上
  • 底层Flink Runtime
  • 流处理API:DataStream API;批处理API:DataSet API
  • 最上层:CEP复杂事件处理(规则匹配)、SQL&Table API(可以和DataStream API、DataSet API互相转换)、FlinkML(机器学习)、Gelly(图计算)
生态

Flink生态

  1. Source:HDFS、Hbase、Kafka、RabbitMQ等等
  2. 数据处理引擎:Flink各个组件
  3. Sink:HDFS、Hbase、Kafka、RabbitMQ、ES等等
Flink未来
  1. 批处理的突破,流批融合
  2. 增加多种语言的支持
  3. 完善Flink ML算法库,会向更成熟的机器学习、深度学习框架去集成(例如:谷歌的TensorFlow on Flink)

Flink Use Cases

Flink主要应用场景
  1. Event-Drive APP(事件驱动)
    事件驱动
  2. Data-Analytics APP(数据分析)
    数据分析
  3. Data-Pipeline APP(管道式ETL)
    管道式ETL
案例
  1. 阿里Flink应用场景
    阿里Flink应用场景
  2. 阿里Flink应用场景案例分析—欺诈检测
    欺诈检测述

Flink vs Spark

流处理框架对比
  1. 流处理框架对比
Flink vs Spark
  1. API
    API对比
  2. Connectors
    Connectors对比
  3. Runtime Env
     Runtime Env
  4. 总体对比
  • Spark生态上更完善、在机器学习的集成和易用性上优势大些
  • Flink在流计算上有绝对优势,并且在核心架构和模型上更通透以及灵活
  • 在易用性上面,以及各自的短板上需要继续努力
  • 5
    点赞
  • 31
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值