flink广播流与主数据流加载顺序问题，怎么保证字典数据优先加载

已于 2023-10-09 16:07:57 修改
阅读量731 收藏 2
点赞数
分类专栏： flink 文章标签： flink java 服务器
于 2023-05-18 17:19:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/java_creatMylief/article/details/130751454
版权

前置条件：flink cdc 监听字典表并广播，两个流connect

如果当字典表数据稍微大了点，那么主流数据会比广播流数据到的早，导致前边的数据没法关联字典信息

解决办法：阻塞主流

 

qzWsong
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink / Scala 实战- 4.BroadCast 广播流数据先到再处理 Source 数据
BITDDD小栈
08-11 1391
Flink 支持增加 DataStream KeyBy 之后 conncet BroadCastStream 形成 BroadConnectedStream，广播流内数据一般为不间断更新的上下文信息，这里介绍如果等待广播流初始化完毕再处理 Source 数据
【Flink】广播流
一杯咖啡半杯糖的博客
09-16 2550
flink广播流适用于规则匹配，当规则数据比较少的情况，flink会把规则流广播，数据流就会拿到最新的规则流进行处理。 1、先定义规则类 package com.test; import lombok.Data; @Data public class Rule { private Integer id; private String result; public Rule() { } public Rule(Integer id, S...
flink 怎么保证广播流比数据流先到
u012447842的博客
01-26 4130
解决flink问题小技巧： 一般使用flink中出现了问题， 可以在Apache Flink 中文用户邮件列表：http://apache-flink.147419.n8.nabble.com/找一下， 是不是有人也遇到过这样的问题 两种方案： 1： 通过state先缓存收到的数据；然后等到广播流到达后再进行处理 2： 先在正常数据处理流的open方法中初始化访问一次配置，后续配置变更时再去使用广播中的数据对配置进行更新 这里我采用的是第二种方案： 比如说flink 中的 connec...
记录一次使用Flink对Kafka数据流与Mysql广播流关联使用的踩坑
fs545454的博客
09-06 513
Flink广播流踩坑记录
Flink专题七：Flink 中广播流之BroadcastStream
beyond的博客
03-24 6871
由于工作需要最近学习flink 现记录下Flink介绍和实际使用过程 这是flink系列的第七篇文章 Flink 中广播流之BroadcastStream使用场景使用案例数据流和广播流connect方法BroadcastProcessFunction 和 KeyedBroadcastProcessFunction重要注意事项 使用场景 背景： 我们定义两个流，一个流包含图形（Item），具有颜色和形状两个属性。 另一个流包含特定的规则（Rule），代表希望寻找的模式。 在图形流中，我们需要首先使用颜.
关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考
OkGogooXSailboat的博客
12-20 959
1. 背景 笔者带领的团队在自研的大数据平台XSailboat 上进行专家策略规则的计算管道开发时，遇到这样一种情形： 计算管道中存在一条配置流和数据流通过广播方式合流的情形。配置流和数据流的输入源都是Kafka主题，但是是两个不同的Kafka主题。 配置流的Kafka主题中存储的是规则配置，数据流中存储的是要分析的数据。在开发调试的时候，这两个主题中已有数据，一调试运行，数据流先到达被处理，配置流晚到，造成开发调试的时候，配置数据没有完全应用上。 我们想要做到的目标是，配置流先到达合流节点，等配置数据都更
Flink解决广播配置流滞后数据流的问题
on the way . . .
09-02 3496
【代码】Flink解决广播配置流滞后数据流的问题。
使用Apache Flink进行流优先处理的基本指南
danpu0978的博客
04-25 597
编者注：这是Apache Flink PMC成员 Fabian Hueske和Kostas Tzoumas的帖子 。 Fabian和Kostas也是数据工匠的联合创始人。 当今数据处理的很大一部分是对连续产生的数据进行的，例如，来自用户活动日志，Web日志，机器，传感器和数据库事务的数据。 迄今为止， 数据流技术在性能，正确性和可操作性等几个方面都缺乏，迫使用户滚动自己的应用程序来摄取和...
Flink多流处理之Broadcast(广播变量)
AnameJL的博客
08-11 1839
broadcast使用
基于Java的Flink流批一体数据处理快速集成开发框架设计源码
最新发布
03-29
这是一个基于Java的Flink流批一体数据处理快速集成开发框架设计，使用Java语言开发，包含203个文件。主要文件类型包括169个Java源文件、11个XML文件、7个gitignore文件、3个PNG图片文件、2个Markdown文档、2个...
浅谈Flink分布式运行时和数据流图的并行化
01-07
关于Flink WordCount程序可以参考我之前的文章：读取Kafka实时数据流，实现Flink WordCount。阅读完本文后，读者可以对Flink的分布式运行时有一个全面的认识。 1 Flink数据流图简介 1.1 Flink作业的逻辑视图 在...
Flink入门：读取Kafka实时数据流，实现WordCount
01-07
本文主要介绍Flink接收一个Kafka文本数据流，进行WordCount词频统计，然后输出到标准输出上。通过本文你可以了解如何编写和运行Flink程序。 代码拆解 首先要设置Flink的执行环境： // 创建Flink执行环境 ...
基于Java的Clink Flink流批一体开发框架源码
03-25
本项目是基于Java语言开发的Clink Flink流批一体开发框架，旨在为数据处理提供快速集成的开发解决方案。框架包含203个文件，其中主要构成如下： - Java源文件：169个，构成了框架的核心功能； - 配置文件：11个XML...
基于负载感知的数据流动态负载均衡策略
02-22
针对大数据流式计算平台中存在节点间负载不均衡、节点性能评估不全面的问题，提出基于负载感知算法的动态负载均衡策略，并将算法应用于 Flink 数据流计算平台中。首先通过有向无环图的深度优先搜索算法获取节点的...
Flink技术灵活使用总结(二)广播变量、广播流的使用
击水三千里的专栏
10-25 1369
Flink可以将数据广播到TaskManager上就可以供TaskManager中的SubTask/task去使用，数据存储到内存中。这样可以减少大量的shuffle操作，而不需要多次传递给集群节点
Flink 广播-broadcast
anguoan的博客
07-28 1593
在Apache Flink中，"广播"是一种特殊的数据分发模式，用于将数据从一个并行操作传播到整个作业的所有并行任务中。广播操作对于将少量数据有效地分发给并行任务，以便它们能够共享这些数据而不必进行昂贵的网络通信，是非常有用的。它通常用于将配置信息、静态数据集或参考数据传播给Flink作业中的所有并行任务。广播的主要优势在于，它避免了将数据通过网络发送到所有并行任务的开销，而是直接将数据复制到每个任务的本地内存中。这样，任务可以直接从本地内存访问数据，无需进行远程通信。
Flink的广播流状态实例
cts618
07-11 655
Flink的广播流状态实例
flink数据流类型转换
02-23
Flink是一个流式处理框架，它提供了丰富的数据流操作和转换功能。在Flink中，数据流类型转换是指将一个数据流从一种类型转换为另一种类型的操作。 Flink中的数据流类型转换可以通过以下几种方式实现： 1. Map转换：Map转换是最常用的数据流类型转换操作之一。它接收一个输入数据流，并将每个元素通过用户定义的函数进行转换，生成一个新的数据流。 2. FlatMap转换：FlatMap转换与Map转换类似，但它可以生成零个、一个或多个输出元素。它接收一个输入数据流，并将每个元素通过用户定义的函数进行转换，生成一个或多个新的数据流。 3. Filter转换：Filter转换用于过滤掉不符合条件的元素。它接收一个输入数据流，并根据用户定义的条件函数对每个元素进行判断，只保留满足条件的元素，生成一个新的数据流。 4. KeyBy转换：KeyBy转换用于按照指定的键对数据流进行分组。它接收一个输入数据流，并根据用户指定的键选择对应的字段作为分组依据，生成一个分组后的数据流。 5. Reduce转换：Reduce转换用于对分组后的数据流进行聚合操作。它接收一个分组后的数据流，并根据用户定义的聚合函数对每个分组进行聚合操作，生成一个新的数据流。 6. Window转换：Window转换用于将无界的数据流切分为有界的窗口，并对每个窗口内的数据进行操作。它接收一个输入数据流，并根据用户指定的窗口规则将数据流切分为窗口，然后对每个窗口内的数据进行操作，生成一个新的数据流。 以上是Flink中常用的数据流类型转换操作，通过这些转换操作，可以实现对数据流的各种处理和转换。如果你有其他相关问题，请继续提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值