Flink理论实战

最新推荐文章于 2023-07-11 10:29:28 发布
最新推荐文章于 2023-07-11 10:29:28 发布
阅读量296 收藏
点赞数
文章标签： flink 大数据 big data
原文链接：https://www.fgba.net/forum-53-1.html
版权

一、Flink核心概念

1、Flink核心概念

（1）Flink是什么 ？

Apache Flink是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。 可部署在各种集群环境，对各种大小的数据规模进行快速计算。

官网：

https://flink.apache.org
https://data-artisans.com

（2）有限数据流和无限数据流？

有限数据流：有限不会改变的数据集合--批处理、离线运算(直梯)
误区：很多现实中认为是有界或者批量的数据集实际上无限数据流，hdfs目录、kafka
无限数据流：数据流源源不断的--流式计算、流计算(滚梯)

举例：

（a） 点击流(终端手机用户或者web应用的点击流)
（b) 物理传感器采集的测量数据
（c) 金融市场产生的数据(股市、数字货币交易市场)
（d) 服务器上的日志数据

（3）Flink为何受青睐—特性 ？

  • 支持批处理和数据流程序处理
  • 优雅流畅的支持java和scala api
  • 同时支持高吞吐量和低延迟
  • 支持事件处理和无序处理通过SataStream API，基于DataFlow数据流模型
  • 在不同的时间语义(事件时间，摄取时间、处理时间)下支持灵活的窗口(时间，滑动、
  • 翻滚，会话，自定义触发器)
  • 仅处理一次的容错担保
  • 自动反压机制
  • 图处理(批) 机器学习(批) 复杂事件处理(流)
  • 在dataSet(批处理)API中内置支持迭代程序(BSP)
  • 高效的自定义内存管理，和健壮的切换能力在in-memory和out-of-core中
  • 兼容hadoop的mapreduce和storm
  • 集成YARN,HDFS,Hbase 和其它hadoop生态系统的组件

（3）Flink生态之核心组件栈

Flink生态之核心组件栈

Flink生态

（4）Flink未来

  • 批计算的突破、流处理和批处理无缝切换、界限越来越模糊、甚至混合
  • 多语言支持
  • 完善Machine Learning 算法库，同时 Flink 也会向更成熟的机器学习、深度学习去集成(比如Tensorflow On Flink)

（5）Flink应用场景

主要应用场景有三类：

  • Event-driven Applications【事件驱动】
  • Data Analytics Applications【分析】
  • Data Pipeline Applications【管道式ETL】

Flink应用场景之Event-driven Applications

Flink应用场景之Data Analytics Applications

Flink应用场景之Data Pipeline Applications

阿里Flink应用场景

阿里Flink应用场景案例剖析-欺诈检测

流处理的几个流派

Flink VS Spark 之 API

Flink VS Spark 之 Connectors

Flink VS Spark 之 运行环境

（5）Flink VS Spark 之 社区

Spark 社区在规模和活跃程度上都是领先的，毕竟多了几年发展时间，同时背后的商业公司Databricks 由于本土优势使得Spark在美国的影响力明显优于Flink
而且作为一个德国公司，Data Artisans 想在美国扩大影响力要更难一些。不过 Flink 社区也有一批 稳定的支持者，达到了可持续发展的规模。
在中国情况可能会不一样一些。比起美国公司，中国公司做事情速度更快，更愿意尝试新技术。中国的 一些创新场景也对实时性有更高的需求。这些都对 Flink 更友好一些。
近期 Flink 的中国社区有一系列动作，是了解 Flink 的好机会。
Flink 的中文社区在 http://flink-china.org/
另外，2018 年 12 月 20 日 -21 日在国家会议中心举办的首届 Flink Forward China 峰会（千人规模）， 参与者将有机会了解阿里巴巴、腾讯、华为、滴滴、美团、字节跳动等公司为何将 Flink 作为首选的流 处理引擎。

（6) 我的观点

Spark 和 Flink 都是通用的开源大规模处理引擎，目标是在一个系统中支持所有的数据处理以 带来效能的提升。两者都有相对比较成熟的生态系统。是下一代大数据引擎最有力的竞争者。
Spark 的生态总体更完善一些，在机器学习的集成和易用性上暂时领先。
Flink 在流计算上有明显优势，核心架构和模型也更透彻和灵活一些。
在易用性方面两者也都还有一些地方有较大的改进空间。接下来谁能尽快补上短板发挥强项就 有更多的机会。

二、DataSream API 概述

（1）Flink的四层执行计划

StreamGraph

  • 根据用户代码生成最初的图
  • 表示程序的拓扑结构
  • 在client端生成

JobGraph

  • 优化streamgraph
  • 将多个符合条件的Node chain在一起
  • 在client端生成

ExecutionGraph

  • JobManger根据JobGraph生成，并行化

物理执行图

  • 实际执行图，不可见

StreamGraph

StreamGraph转JobGraph

JobGraph

JobGraph -> ExecutionGraph

ExecutionGraph

  • ExecutionJobVertex <- JobVertex
  • ExecutionVertex并发任务
  • ExecutionEdge <- JobEdge
  • JobGraph 2维结构
  • 根据2维结构分发对应Vertex到指定slot

DataStreamContext

  • getExecutionEnvironment
Jar
cmd

• createLocalEnvironment

内置数据源

  • 基于文件
  • 基于Socket
  • 基于Collection

自定义数据源

  • 实现SourceFunction(非并行的)
  • 实现ParallelSourceFunction
  • 继承RichParallelSourceFunction

Transformation

DataSink （自定义Sink）

实现SinkFunction 接口
继承RichSinkFunction

（2）流式迭代运算

  • 没有最大迭代次数

• 需要通过split/filter转换操作指定流的哪些部分数据反馈给迭代算子，哪些部分数据被转发到 下游DataStream

• 基本套路

基于输入流构建IterativeStream(迭代头)
定义迭代逻辑(map fun等)
定义反馈流逻辑(从迭代过的流中过滤出符合条件的元素组成的部分流反馈给迭代头进行重
复计算的逻辑)
调用IterativeStream的closeWith方法可以关闭一个迭代（也可表述为定义了迭代尾）
定义“终止迭代”的逻辑(符合条件的元素将被分发给下游而不用于进行下一次迭代)
  • 问题域
输入一组数据，我们对他们分别进行减1运算，直到等于0为止
  • 看代码

（3）Controlling Latency(控制延迟)

默认情况下，流中的元素并不会一个一个的在网络中传输(这会导致不必要的网络流量消耗)
，而是缓存起来，缓存的大小可以在Flink的配置文件、 ExecutionEnvironment、设置某
个算子上进行配置(默认100ms)
  • 好处：提高吞吐
  • 坏处：增加了延迟

如何把握平衡？

  • 为了最大吞吐量，可以设置setBufferTimeout(-1)，这会移除timeout机制，缓存中的数据一 满就会被发送
  • 为了最小的延迟，可以将超时设置为接近0的数(例如5或者10ms)
  • 缓存的超时不要设置为0，因为设置为0会带来一些性能的损耗

( 4 ) Flink提供的调试手段

1、Streaming程序发布之前最好先进行调试，看看是不是能按预期执行
2、 为了降低分布式流处理程序调试的难度，Flink提供了一些列方法：
  • 本地执行环境
  • Collection Data Sources
  • Iterator Data Sink

二、Flink核心概念与编程模型

1、Flink生态之核心组件栈

2、Flink分层架构

3、Stateful Stream Processing

  • 位于最底层， 是core API 的底层实现
  • processFunction
  • 利用低阶，构建一些新的组件或者算子
  • 灵活性高，但开发比较复杂

4、Core API

  • DataSet - 批处理 API
  • DataStream –流处理 API

5、Table API & SQL

  • SQL 构建在Table 之上，都需要构建Table 环境
  • 不同的类型的Table 构建不同的Table 环境
  • Table 可以与DataStream或者DataSet进行相互转换
  • Streaming SQL不同于存储的SQL，最终会转化为流式执行计划

6、Flink DataFlow基本套路

  • 构建计算环境(决定采用哪种计算执行方式)
  • 创建Source(可以多个数据源)
  • 对数据进行不同方式的转换(提供了丰富的算子)
  • 对结果的数据进行Sink(可以输出到多个地方)

Flink DataFlow基本套路

并行化DataFlow

算子间数据传递模式

Stateful Operations

Checkpoints(备份)

Savepoint

三、Flink Runtime

1、Flink运行时架构

Flink运行时架构

2、TaskManger Slot

TaskManger Slot

  • TaskManager是进程，他下面运行的task是线程，每个task/subtask(线程)下可运行一个或者多个operator，即 OperatorChain
  • Task是class，subtask是Object(类比学习)。
  • 一个TaskManager通过Slot(任务槽)来控制它上面可以接受多少个task(仅限内存托管，目前CPU未做隔离)，Slot均 分TaskManager所托管的内存
  • 同一个TaskManager中的task共享TCP连接(通过多路复用)和心跳消息。它们还可以共享数据集和数据结构，从而 减少每个任务的开销。
  • 个TaskManager有N个槽位只能接受N个Task吗？不是，后面会讲共享槽位

3、OperatorChain && Task

  • 为了更高效地分布式执行，Flink会尽可能地将operator的subtask链接（chain）在一起形成task。
  • 以wordcount为例进行分析

上图中将KeyAggregation和Sink两个operator进行了合并，因为这两个合并后并不会改变整体的拓扑结构

4、OperatorChain的优点和组成条件

OperatorChain的优点和组成条件

5、编程改变OperatorChain行为

编程改变OperatorChain行为

6、Slot分配与共享

Slot分配与共享1

共享Slot实例2

7、SlotSharingGroup(soft)

SlotSharingGroup(soft)

8、CoLocationGroup(强制)

  • 保证所有的并行度相同的sub-tasks运行在同一个slot
  • 主要用于迭代流(训练机器学习模型)

9、Slots && parallelism

Slots &amp;amp;amp;&amp;amp;amp; parallelism

10、如何计算一个应用需要多少slot

计算一个应用时长

11、运行时概念总结

  • Jobmanger

• TaskManger

• TaskManager Slots

• Job

• Task&subtask(线程)

• Operator

• Parallelism

• Chain

• SlotSharingGroup

• CoLocationGroup

12、Flink部署方式

  • Local

• Standalone Cluster

• YARN

• Mesos

• Docker

• Kubernetes

• AWS

• Google Compute Engine

  • Single JVM

• 用于测试调试代码

13、Flink On YARN简述

  • ResourceManager

• NodeManager

• AppMaster( jobmanger 运行在其上)

• Container(taskamanager 运行在其上)

• YarnSession

• 选择on-Yarn 的理由

提高机器的利用率

Hadoop 开源活跃，且成熟

Flink与YARN的交互

四、Flink API 通用基本概念

1、DataSet and DataStream

  • 表示Flink app中的分布式数据集

• 包含重复的、不可变数据集

• DataSet有界、DataStream可以是无界

• 可以从数据源、也可以通过各种转换操作创建

2、共通的编程套路

  • 获取执行环境(execution environment)

• 加载/创建初始数据集

• 对数据集进行各种转换操作(生成新的数据集)

• 指定将计算的结果放到何处去

• 触发APP执行

3、惰性计算

  • Flink APP都是延迟执行的

• 只有当execute()被显示调用时才会真正执行

• 本地执行还是在集群上执行取决于执行环境的类型

• 好处：用户可以根据业务构建复杂的应用，Flink可以整体进优化并生成QQ交易执行计划

4、指定键（Specifying Keys）

（1）谁需要指定键

  • 哪些操作需要指定key(join, coGroup, keyBy, groupBy，Reduce, GroupReduce,

Aggregate, Windows)

  • Flink编程模型的key是虚拟的，不需要你创建键值对
DataSet<...> input = // [...] 
DataSet<...> reduced = input 
.groupBy(/*define key here*/) 
.reduceGroup(/*do something*/);

（2）为Tuple定义键

  • 按照指定属性分组
DataStream<Tuple3<Integer,String,Long>> input = // [...] 
KeyedStream<Tuple3<Integer,String,Long>,Tuple> keyed = input.keyBy()
  • 按照组合键进行分组
DataStream<Tuple3<Integer,String,Long>> input = // [...] 
KeyedStream<Tuple3<Integer,String,Long>,Tuple> keyed = input.keyBy(,1)
  • 特殊情况：嵌套Tuple
DataStream<Tuple3<Tuple2<Integer, Float>,String,Long>> input = // [...]
KeyedStream<Tuple3<Integer,String,Long>,Tuple> keyed = input.keyBy()
注意：这里使用KeyBy(0)指定键，系统将会使用整个Tuple2作为键（整型和浮点型的）。
如果想使用Tuple2内部字段作为键，你可以使用字段来表示键

（3）使用字段表达式定义键

  • 基于字符串的字段表达式可以用来引用嵌套字段(例如Tuple,POJO)
public class WC { 
 public String word; 
 public int count; 
} 
DataStream<WC> words = // [...] 
DataStream<WC> wordCounts = words.keyBy("word").window(/*window specification*/);

语法

语法

（4）字段表达式实例-Java

字段表达式实例-Java

（5）字段表达式实例-Scala

字段表达式实例-Scala

（5）使用键选择器函数定义键(Key Selector Functions)

还有一种定义键的方式叫做“键选择器”函数。键选择器函数需要一个元素作为入参，返
回这个元素的键。这个键可以是任何类型的，也可从指定计算中生成。 
class WC(var complex: ComplexNestedClass, var count: Int) { 
 def this() { this(null, ) } 
} 
public class WC {public String word; public int count;} 
DataStream<WC> words = // [...] 
KeyedStream<WC> keyed = words 
 .keyBy(new KeySelector<WC, String>() { 
 public String getKey(WC wc) { 
 return wc.word; 
 } 
 });

5、自定义转换函数

（1）方式1：实现接口

大多数的转换操作需要用户自己定义函数。

（2）方式2：匿名类

（3）方式3：Lambda表达式

（4）方式4：Rich Functions

6、Rich Function丰富的功能

非常有用的四个方法：open,close，getRuntimeContext和setRuntimecontext
这些功能在参数化函数、创建和确定本地状态、获取广播变量、获取运行时信息（例如
累加器和计数器）和迭代信息时非常有帮助。

Rich Function丰富的功能

7、支持的数据类型

支持的数据类型

8、Java Tuple

Java Tuple

9、Scala Case类

Scala的Case类（以及Scala的Tuple,实际是Case class的特殊类型）是包含了一定数量多种类型字段 的组合类型。Tuple字段通过他们的1-offset名称定位，例如 _1代表第一个字段。Case class 通过字 段名称获得： 
case class WordCount(word: String, count: Int)
val input = env.fromElements(
 WordCount("hello", 1),
 WordCount("world", 2)) // Case Class Data Set
input.keyBy("word")// key by field expression "word"
val input2 = env.fromElements(("hello", 1), ("world", 2)) // Tuple2 Data Set
input2.keyBy(, 1) // key by field positions  and 1

10、POJOs

POJOs

public class WordWithCount { 
 public String word; 
 public int count; 
 public WordWithCount() {} 
 public WordWithCount(String word, int count) { this.word = word; this.count = count; } 
} 
DataStream<WordWithCount> wordCounts = env.fromElements( 
 new WordWithCount("hello", 1), 
 new WordWithCount("world", 2)); 
wordCounts.keyBy("word");

11、基本类型

Flink支持Java和Scala所有的基本数据类型，比如 Integer，String,和Double

12、一般通用类

  • Flink支持大多数的Java,Scala类（API和自定义）。包含不能序列化字段的类在增加一些限制后也可 支持。遵循Java Bean规范的类一般都可以使用。
  • 所有不能视为POJO的类Flink都会当做一般类处理。这些数据类型被视作黑箱，其内容是不可见的。 通用类使用Kryo进行序列/反序列化。

13、值类型Values

  • 通过实现org.apache.flinktypes.Value接口的read和write方法提供自定义代码来进行序列化/反序列化 ，而不是使用通用的序列化框架
  • Flink预定义的值类型与原生数据类型是一一对应的(例如:ByteValue, ShortValue, IntValue, LongValue, FloatValue, DoubleValue, StringValue, CharValue, BooleanValue)。这些值类型作为原生 数据类型的可变变体，他们的值是可以改变的，允许程序重用对象从而缓解GC的压力。

14、Hadoop的Writable类

  • 实现org.apache.hadoop.Writable接口的类型，该类型的序列化逻辑在write()和readFields()方法中实现

15、特殊类型

• Scala的 Either、Option和Try

  • Java ApI有自己的Either实现

16、类型擦除和类型推理

Flink 的Java API会试图去重建这些被丢弃的类型信息，并将它们明确地存储在数据集以及操作中。

你可以通过DataStream.getType()方法来获取类型，这个方法将返回一个TypeInformation的实例，这 个实例是Flink内部表示类型的方式。

17、累加器和计数器（Accumulators & Counters）

累加器和计数器

如何使用累加器 ？

自定义累加器

实现Accumulator或者SimpleAccumulator

五、DataStream编程基本套路

1、运行模型

运行模型

WordCount

2、执行计划Graph

Flink的四层执行计划

3、Graph

Graph

4、StreamGraph

StreamGraph

5、StreamGraph转JobGraph

StreamGraph转JobGraph

6、JobGraph

JobGraph

7、JobGraph -> ExecutionGraph

JobGraph -&amp;amp;gt; ExecutionGraph

8、ExecutionGraph

ExecutionGraph

9、DataStreamContext

DataStreamContext

10、数据源(DataSource)

自定义DataSource

public class SimpleSourceFunction implements ParallelSourceFunction<Long> { 
private long num = 0L;
private volatile boolean isRunning = true;
@Override 
public void run(SourceContext<Long> sourceContext) throws Exception { 
while (isRunning) { 
sourceContext.collect(num); num++;
Thread.sleep(10000); 
} 
} 
@Override
public void cancel() {
isRunning = false;
} 
}

转换(Transformations)

转换(Transformations)

DataSink

DataSink

11、流式迭代运算(Iterations)

简单理解迭代运算

  • 当前一次运算的输出作为下一次运算的输入(当前运算叫做迭代运算)

• 不断反复进行某种运算，直到达到某个条件才跳出迭代(是不是想起了递归)

流式迭代运算

流式迭代运算

流式迭代运算实例

流式迭代运算实例

12、Execution参数

Controlling Latency(控制延迟)

Controlling Latency(控制延迟)

13、调试

Flink提供的调试手段

Flink提供的调试手段

本地执行环境-基于线程模拟执行环境

本地执行环境-基于线程模拟执行环境

集合数据源(Collection Data Sources)-模拟数据输入

集合数据源(Collection Data Sources)-模拟数据输入

Iterator Data Sink-模拟数据输出

Iterator Data Sink-模拟数据输出

ludongguoa
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
flink实战--flink原理解析
阿华田的博客
09-30 1万+
Flink出现的背景 我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法............
Flink实战
dipengbin的专栏
12-29 294
此篇文章主要目的是用Flink的流迅速开发一个应用，一些需要注意的问题，但不会发散，有兴趣的自己去网上查资料，也不会介绍Flink相关的基础与原理。 首先介绍一个经常被忽略的问题，流与流之间的partitioning。 这个网上看到一篇关于Watermarks不触发问题（原文：https://www.jianshu.com/p/753e8c...
Flink实战项目（电力行业真实项目）
03-18
主要功能是基于Flink从kafka消费数据，并做avro反序列化、解析、统计等，最后结果数据发送到redis或者influxdb(时序数据库)。另外我提供Flink答疑服务，帮助大家快速理解项目和Flink入门，如有需要可添加微信：z1224576376，添加时请备注“flink”
Java如何使用实时流式计算处理？
V539413949的博客
03-31 3200
最近如果拉过austin项目代码的同学，可能就会发现多了一个austin-stream模块。其实并不会意外，因为这一切都在计划当中进行。 这个模块主要是接入流式处理平台（flink），用于实时计算清洗数据给到业务以及系统维护者更方便去使用消息推送平台austin。 这篇文章主要来聊聊接入的背景以及我浅薄的经验吧 01、为什么流式处理平台 我在老东家有过处理数据相关的经验，也看到过站内广告「效果数据」的发展历程。 所谓效果数据，说白了则是商家在平台上投放了广告，我们需要给商家看到广告带来的效果，最核心的是「
Flink 系列三 Flink 实战
lly576403061的博客
07-11 2202
Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去。Flink 系列二 Flink 状态化流处理概述Flink 系列一 开发机 安装。本篇作为 Flink 系列的第三篇，咱们尝试在本地安装和实操 Flink。
Flink实战案例四部曲
play_big_knife的博客
12-20 3013
使用Flink程序结合实际应用分析网络日志，分析交通灯的车流量等实战程序。充分使用window窗口实现 fiink程序在实际应用中的扩展。
Flink SQL大数据项目实战（基于Flink1.14.3版本）
09-15
分享课程——《Flink SQL大数据项目实战》，2022新课，基于Flink1.14.3版本。提供视频配套的源码和文档下载！ Flink SQL大数据项目实战课程以FlinkSQL流批一体技术为主线，全面讲解Flink Table编程、SQL编程、Time...
Apache Flink 理论与实战精解 2021 版1
08-03
【Apache Flink 理论与实战精解 2021 版1】这篇文章主要由Apache Flink中文社区的发起人，阿里云计算平台及实时计算与开放平台部门的负责人王峰分享，探讨了Flink作为一款统一的流批一体引擎的理论与实践。...
Flink大数据项目实战
06-12
本课程基于某电商公司运营实时...通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而一站式全面、深入掌握Flink技术。
Flink入门与实战配套java源码
12-26
《Flink入门与实战配套Java源码》是一个针对Apache Flink初学者和实践者的宝贵资料，它包含了使用Java编程语言实现的各种Flink示例。Apache Flink是一个流行的开源流处理和批处理框架，专为实时数据处理而设计，提供...
Flink 实战 - 源码 java 源码demo
最新发布
03-19
《Flink实战 - 源码》是一本深入解析Apache Flink实操技术的书籍，其配套的Java源码demo提供了丰富的示例，帮助读者更好地理解并应用Flink的各类功能。Flink作为一款强大的流处理和批处理框架，其核心在于对数据流的...
【大数据】流式计算引擎Flink入门及案例实战
互联网小阿祥
11-03 4277
大数据流试计算引擎Flink篇
flink经典实战案例
qq_46447060的博客
08-31 8266
一、java版flink-wordcount-离线计算版 1.1maven构建flink，加入依赖 <!-- flink包依赖配置-start --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version
【20】Flink 实战案例开发（二）：数据报表
努力学习的大小宝
06-19 5314
需求分析 主要针对直播/短视频平台审核指标的统计 统计不同大区每1 min内过审(上架)的数据量 统计不同大区每1 min内未过审(下架)的数据量 统计不同大区每1 min内加黑名单的数据量 ...
【19】Flink 实战案例开发（一）：数据清洗
热门推荐
努力学习的大小宝
06-18 1万+
1、应用场景分析 数据清洗【实时ETL】 数据报表 1.1、数据清洗【实时ETL】 1.1.1、需求分析 针对算法产生的日志数据进行清洗拆分 算法产生的日志数据是嵌套大JSON格式（json嵌套json），需要拆分打平 针对算法中的国家字段进行大区转换 最后把不同类型的日志数据分别进行存储 1.1.2、架构图 创建一个大的项目，用Maven来维护 每个flink需求，即job创建一个...
Flink流式计算项目开发实战总结（超级详细：flink多源输入、flink+kafka、flink的时间窗口、flink连接远程mysql、可视化前端、flink报错集合等；基于java）
weixin_43038752的博客
01-30 3313
Flink项目开发实战总结[1] 项目简介[2] Flink的数据源[3] Flink的流处理[4] Flink的Sink[5] 架构的设计方案[6] 常见问题[7]总结 [1] 项目简介     本项目面向的对象是Flink初学者，通过模拟滴滴订单数据，实现基于Flink的流批一体系统。阅读并复现本文只要求对大数据处理平台有略微感性的认识即可。同时本文会以实际代码为引导，介绍Flink的三个关键环节：DataSource、Transformation、Sink。   &nbs
71 篇 Flink 实战及原理解析文章（面试必备）
qq_34608620的博客
02-14 1802
去重系列 一、Flink去重第一弹:MapState去重 二、Flink去重第二弹：SQL方式 三、Flink去重第三弹：HyperLogLog去重 四、关于hyperloglog去重优化 五、关于bitmap的使用总结 六、Flink去重第四弹: bitmap精确去重 七、编码方式实现Split Distinct Aggregation功能 实战系列目录： 一、热点流量优化 二、分流 三、自定义RetractStreamTableSink 四、自定义UpsertStreamTableSink 五、Flin
Flink技术实战分享和原理浅析
吒哇
09-15 1179
1 Flink是什么 在当前的数据量激增的时代，各种业务场景都有大量的数据产生，对于这些不断产生的数据应该如何高效的处理，成为当前的所面临的问题。而相对传统的数据处理模式，流式数据处理有着更高的处理效率和成本控制能力。Flink在德语中的意思快速和敏捷，同时又以一只棕红色的松鼠作为项目的Logo。 Apache Flink是一个支持高吞吐、低延迟、高性能的分布式处理框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规...
《Flink原理、实战与性能优化》（Flink知识梳理一）
victorzzzz的专栏
04-08 7514
Stratosphere ---> Flink Spark基于批处理原理，对流式计算相对较弱（本质上是对Hadoop架构进行了一定的升级和优化） 有状态流式计算架构 Flink通过实现Google Dataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架，支持高度容错状态管理，防止状态在计算过程中因为系统异常而丢失。周期性通过分布式快照技术Ch............

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值