flink流元素理解

最新推荐文章于 2024-03-06 18:04:54 发布
最新推荐文章于 2024-03-06 18:04:54 发布
阅读量225 收藏
点赞数
分类专栏： flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YouLoveItY/article/details/116493946
版权 
StreamElement  为flink的数据流的流元素的接口类. 其有四个子类.

在这里插入图片描述

StreamRecord:
 1, 封装了每一个元素, 视为一条数据,或者是一个事件.
LatencyMarker:
 1, 用来评估数据流转DAG的延时, 用来监控数据处理延时使用.
StreamStatus:
 1, 用来通知task是否会继续接收到上游的记录或者Watermark.StreamStatus在数据源算子中生成,向下游DAG传播. 有两种状态, 一种为空闲状态,一种为活动状态
Watermark:
 1, 推动时间进度,触发窗口计算以及清理资源等作用
Jeseva
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】Flink中流动的四种元素
九师兄
01-15 196
1.概述 转载：Flink中流动的四种元素 在Flink DataStream中流动着不同的元素，统称为StreamElement，StreamElement可以是StreamRecord、Watermark、StreamStatus、LatencyMarker中任何一种类型，StreamElement是一个抽象类，其他四种类型继承StreamElement。 2.StreamElement public abstract class StreamElement { //判断是否是Watermark
Flink 源码解读系列 DataStream 数据流元素 StreamElement
SmartSi
09-15 610
StreamElement 是一个抽象类，其下有数据记录 StreamRecord、延迟标记 Latency Marker、Watermark、数据流状态 StreamStatus 4 种类型，如下图所示：在执行层面上，4 种数据流元素都被序列化成二进制数据，形成混合的数据流，在算子中将混合数据流中的数据流元素反序列化出来，根据其类型分别进行处理。下面我们详细看一下每种数据流元素。
flink 流的概念
大齐的学习笔记
04-22 554
Flink为批处理以及流处理统一提供table API和sql支持。意思是Table Api还是SQL查询有着同样的语义，不论有界限的批处理还是无界限流式处理。因为关系函数和sql都原本设计为批处理，而关系查询在无边界的流式输入没有有边界的批处理查询容易懂。本章节，我们讨论围绕flink关系API在流式数据上，实际的界限以及流的特殊配置参数。数据流的关系查询动态表以及持续查询    在数据流上定义...
Flink核心抽象二数据流元素
勇心在馨
11-27 176
StreamElement在Flink中叫做据流元素。包含StreamRecord，LatencyMarker，Watermark，StreamStatus 一、StreamRecord StreamRecord表示数据流中的一条记录（一个事件） 1、数据值 2、时间戳 public StreamRecord(T value, long timestamp) { this.value = value; this.timestamp = timestamp; this.ha
Flink随数据流动的四种StreamElement简述
catkint的博客
03-16 1303
Flink为了完成不同的任务，在DataStream中流动的不止是我们的业务数据StreamRecord，还有其余三种标记，分别是Watermark，StreamStatus，LatencyMarker。这四个类继承自StreamElement。 (注：有些人可能有疑惑，checkpoint barrier不是插入了数据流中吗？是的，checkpoint barrier也是随着数据流动，但是它不...
flink样例完整代码
最新发布
05-31
样例代码有助于开发者理解如何在这些场景中应用Flink，如处理各种数据源（Kafka, JDBC, HDFS等），实现复杂的数据流转换，以及优化性能（例如，利用状态backend和并行度调整）。 五、总结 通过深入理解并实践Flink...
flink源码 类UML图
12-20
在深入理解Flink的内部工作机制时，类UML图是一种非常有效的工具，它可以帮助我们清晰地可视化类与类之间的关系，进一步解析Flink的架构设计和实现细节。本篇文章将基于提供的“FlinkUml类图”，探讨Flink源码中的...
flink使用手册1
08-08
Apache Flink 是一个开源的流处理框架，专为大规模数据处理设计，支持实时和批处理模式。Flink项目被构建为独立的Maven Java项目...通过深入理解这些概念和操作，你可以有效地利用Flink构建高效、可扩展的流处理应用。
flink(java)笔记
01-08
在大数据处理领域，Apache Flink是一个开源的流处理和批处理框架，以其高效、实时和容错性而备受推崇。本笔记将专注于使用Java API来操作Flink，以帮助开发者深入理解其核心概念和功能。 ### 1. Flink基础知识 ...
Flink中流动的四种元素
张普的专栏
01-18 550
点击箭头处“蓝色字”，关注我们哦！！在Flink DataStream中流动着不同的元素，统称为StreamElement，StreamElement可以是StreamRecord、Wa...
Flink的watermark理解
Baron_ND的博客
05-17 665
摘要 对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。 1 问题 关于Watermark，很容易产生几个问题 Flink 流处理应用中，常见的处理需求/应对方案是什么? Watermark究竟应该翻译成水印还是水位线？ Watermark本质是什么? Watermark是如何解决问题? 下面我们就来简要解答这些问题以给大家一个大致概念，在后文中，会再深入描述。 问题1. Flink 流处理应用中常见的
三.什么是控制流元素？
adam601的专栏
02-14 848
包由一个控制流以及可选的一个或多个数据流组成。SQL Server 2005 Integration Services (SSIS) 提供了三个不同类型的控制流元素：提供包中结构的容器、提供功能的任务以及将可执行文件、容器和任务连接为已排序控制流的优先约束。下面的关系图显示具有一个容器和六项任务的控制流。容器是 SQL Server 2005 Integration Services
Flink源码解析系列--StreamPartitioner(流分区器)
打酱油的葫芦娃
03-15 5966
本文的Flink源码版本为: 1.15-SNAPSHOT，读者可自行从Github clone. StreamPartitioner抽象类 @Internal public abstract class StreamPartitioner<T> implements ChannelSelector<SerializationDelegate<StreamRecord<T>>>, Serializable { private stat.
【Flink 源码系列】Flink 侧流输出源码解析
JasonLee实时计算
09-14 1348
Flink 的 side output 为我们提供了侧流（分流）输出的功能，根据条件可以把一条流分为多个不同的流，之后做不同的处理逻辑，下面就来看下侧流输出相关的源码。先来看下面的一个 Demo，一个流被分成了 3 个流，一个主流，两个侧流输出。SingleOutputStreamOperator<JasonLeePOJO>process= kafka_source...
Flink的数据类型
test_test111的专栏
06-07 727
Apache Flink 以其独特的方式来处理数据类型以及序列化，这种方式包括它自身的类型描述符、泛型类型提取以及类型序列化框架。本文档描述了它们背后的概念和基本原理。 支持的数据类型 Flink 对可以在 DataSet 或 DataStream 中的元素类型进行了一些限制。这样做的原因是系统会分析类型以确定有效的执行策略。 Java Tuple 和 Scala Case类； Java POJO； 基本类型； 通用类； 值； ...
一文搞懂 Flink 处理水印全过程
shengjk1的博客
12-25 1633
1. 正文 2. 总结 1.正文 前面，我们已经学过了 一文搞懂 Flink 处理 Barrier 全过程，今天我们一起来看一下 flink 是如何处理水印的，以 Flink 消费 kafka 为例 FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<String>(topics, new SimpleStringSchema(), properties); consumer.setStartFromL.
html学习笔记
devJan的博客
06-14 232
用户代理(user agent )： 用户代理的作用是查看和显示html文档的，常见的有浏览器， 在用浏览器调试工具时，经常能看到浏览器的默认样式（user agent stylesheet）, user agent在这就是指浏览器的意思。 html文档的基本结构：<一个完整的html文档，必须包含> <!doctype html>： 文档声明，标志这是一个html文档，代表文档的开头。 html 标签： 表示html文档的开始， 所有内容必须放在html标签里面。 head 标签
Flink框架源码——核心抽象
weixin_43097905的博客
01-29 558
Flink的环境对象可以分为3种：开发时环境对象、运行时环境对象、运行时上下文对象
【Flink网络数据传输（4）】RecordWriter（下）封装数据并发送到网络的过程
hiliang521的博客
03-06 1398
【Flink网络数据传输（4）】RecordWriter封装数据并发送到网络的过程

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值