Flink 异常 - 1.新增 BroadcastStream 无 watermark 导致数据流异常

已于 2022-10-25 17:26:27 修改
阅读量1.4k 收藏 2
点赞数
分类专栏： Flink 成长之路 Scala 异常解决 文章标签： flink broadcastStream watermark
于 2022-03-17 15:04:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BIT_666/article/details/123546085
版权

一.问题分析

原始程序使用 EventTime，JobGraph 为 Source + KeyBy + ProcessFunction + Window + Sink 形式，其中 ProcessFunction 内设置了 ValueState 与 onTimer 的机制，由于需要定时更新一些任务需要的实时变量，故引入 BroadcastStream 实现实时变量的不定时更新，经过修改后的 JobGraph 为 Source + keyd-Broadcast-Process + window + Sink，如图所示：

任务执行后发现第三步 Co-Process-Broadcast-keyed Stage 部分 Records-Received 正常，但是 Bytes Sent 消失了，即下游没有 (onTimer) 的数据写入到 window ，导致所有数据卡在第三步，window 无法触发：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BIT_666
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
hudi-flink1.14-bundle_2.12-0.11.0.jar
06-28
hudi-flink1.14-bundle_2.12-0.11.0.jar
Flink筛选重要配置参数
小朱小朱绝不认输的博客
08-24 867
1.简单介绍一下flink背景 随着科技的发展，大数据框架处理海量数据越来越流行。有状态流计算将会逐步成为企业作为构建数据平台的架构模式，而目前从社区来看，能够满足的只有Apache Flink。Flink通过实现Goolge Dataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。同时Flink支持高度容错的状态管理，防止状态在计算过程中因为系统异常而出现丢失。Flink具有先进的架构理念，诸多的优秀特性，以及完善的编程接口，而Flink也在每一次的Release版本中，不断推出新的
Flink广播流 BroadcastStream
最新发布
老码农的博客
03-14 1846
Flink中的广播流（BroadcastStream）是一种特殊的流处理方式，它允许将一个流（通常是一个较小的流）广播到所有的并行任务中，从而实现在不同任务间共享数据的目的。广播流在处理配置信息、小数据集或者全局变量等场景下特别有用，因为这些数据需要在所有任务中保持一致且实时更新。定义MapStateDescriptor：首先需要定义一个MapStateDescriptor来描述要广播的数据的格式。这个描述器指定了数据的键值对类型。创建广播流：然后，需要将一个普通的流转换为广播流。这通常通过调用流的。
Flink-如果某一个并行度的watermark不推进导致整个下游的watermark无法推进，如何处理?
qq_40382400的博客
06-21 288
【代码】Flink-如果某一个并行度的watermark不推进导致整个下游的watermark无法推进，如何处理?
11.Flink ProcessFunction介绍及KeyedProcessFunction实例
07-08 4758
Flink ProcessFunction介绍及KeyedProcessFunction实例1. ProcessFunction简介2. KeyedProcessFunction简单使用2.1. [Java版本](https://github.com/fanjianhai/flink_project_maven_repository.git)2.2. [Scala版本]()（`代码非常简洁`）3. 参考链接4. 寄语：心静一切皆美，情深万象皆深 1. ProcessFunction简介 转换算子是无法访问
Flink之ProcessFunction API（底层 API）
weixin_43520450的博客
09-20 1227
ProcessFunction API一、KeyedProcessFunction二、TimerService 和 定时器（Timers）三、侧输出流（SideOutput）四、CoProcessFunction 我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如 MapFunction 这样的 map 转换算子就无法访问时间戳或者当前事件的事件时间。 基于此，DataStream API 提供了一系列的 Low-Level 转换算子。可以访问时间戳、wat
flink读取kafka数据写入clickhouse很慢
yoohhwz的博客
06-15 2267
flink的业务逻辑代码导致的flink反压，进而导致kafka数据挤压
CepOperator -＞ Sink: Print to Std. Out (3/6) (c2b48c8d25739a404a24562a6c3b5d4e) switched from RUNNIN
zggpdd的博客
11-08 1683
CepOperator -> Sink: Print to Std. Out (3/6) (c2b48c8d25739a404a24562a6c3b5d4e) switched from RUNNIN
Flink广播流、广播状态原理简析
LittleMagic's Blog
07-16 6899
Prologue 在很久之前的《Spark Streaming/Flink广播实现作业配置动态更新》一文中，笔者简单介绍了Flink Streaming API中广播流和广播状态的使用方法。前几天见到社区群内有童鞋询问与广播状态相关的事情，于是写一篇深入一点的文章说说它。 Broadcast[Connected]Stream 拿之前的示意图复习一下。其中Stream A是普通的数据流...
搭建kubernetes 集群出现的错误
m0_50708669的博客
05-14 1326
问题： /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1 [preflight] Running pre-flight checks [WARNING Hostname]: hostname "node0" could not be reached [WARNING Hostname]: hostname "node0": lookup node0 on 114.114.114.114:53: no suc
ubuntu部署cloudcanal社区版启动失败
keketrtr的专栏
03-07 1325
全新安装(Linux/MacOS) | Glougence 按照官网指导进行安装，运行脚本startup.sh，此时报错 ERROR: Network cloudcanal-network declared as external, but could not be found. Please create the network manually using `docker network create cloork` and try again. 按照提示创建运行docker命令 docker.
flink-connector-clickhouse.jar
10-19
flinkSQL clickhouse连接器
flink-doris-connector-1.16-1.5.0-SNAPSHOT.jar
08-18
Flink-Doris最新发布的1.16驱动jar包，极大的提升了实时同步ODS效率，不仅可以同步DML,还可以同步DDL,并且可以自动创建目标表结构，为数据仓库同学解决了燃眉之急。
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar.tar.gz
11-14
flink1.14.0与hadoop3.x的兼容包，放在flink的lib目录下
flink-connector-clickhouse-1.12.0.jar
02-15
flink 以connector形式连接clickhouse，资源稀缺，阿里云已经找不到了 id Int, age Int, sex Int, create_date Date ) WITH ( 'connector' = 'clickhouse', 'url' = 'jdbc:clickhouse://10.1.3.176:8123/test'...
Flink流处理核心编程
qq_43523503的博客
03-18 681
Flink流处理核心编程 5.1 Environment //批执行环境 ExecutionEnvironment benv = ExecutionEnvironment.getExecutionEnvironment(); //流执行环境 StreamExecutionEnvironment senv = StreamExecutionEnvironment.getExecutionEnvironment(); //1.12版本，可以在流式的执行环境中，指定为 批处理模式 => 为了更像 流批
关于flink不生成Watermarks的问题
weixin_41358306的博客
05-27 625
关于flink不生成Watermarks的问题问题描述异常解决方法我选择的方式就是修改并行度 问题描述 由于编写新的flink统计代码，然后启动之后发现，数据被消费了但是就是没有输出。 排查了一下，发现并未生成水位线。 异常 这里是随便截的图。就是这个地方是没有数据的。 解决方法 这里贴个链接，就是按照这里面的方法解决的 https://blog.csdn.net/qq_37555071/article/details/122654727 我选择的方式就是修改并行度 环境并行度 StreamExecut
Flink水印的更新机制和窗口触发计算和允许延迟的关系
Wai0210的博客
04-03 2609
Flink 水印 水位线
正确使用Flink广播流以及记录Flink做checkpoints失败情况
bradyM的博客
08-18 1936
最近在做项目的时候，涉及到这样的一个场景，就是要把一个比较小并且不会经常改动的表作为维表，和实时流进行匹配。这张表是MySQL中的一个表，我的第一反应就是读取这张表进行广播。 文章目录不优雅的广播流使用使用广播流造成的写入检查点失败优雅使用广播流 不优雅的广播流使用 简要代码如下： val env = StreamExecutionEnvironment.getExecutionEnvironment val broadcastMysql = env.addSource(new SourceFromMySQ
flink-connector-jdbc.jar下载
05-13
Flink-connector-jdbc.jar是Flink框架的一个外部扩展，适用于将Flink与关系型数据库进行集成。JDBC是Java数据库连接的缩写，使用该扩展可以使Flink能够在运行时连接数据库，并读取或写入数据。 下载flink-connector...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT_666

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值