flink 中WindowAll后的 reduce 并行数为什么是1，但不代表所有的窗口符合该条件

已于 2022-05-20 16:52:20 修改
阅读量682 收藏
点赞数
分类专栏： Flink 文章标签： flink java 大数据
于 2022-05-11 16:44:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/adddimin/article/details/124711860
版权
本文探讨了在 Flink 中，WindowAll 结合 reduce 操作为何并行数默认为1的原因。内容指出，由于源码中强制设置了并行数为1，因此无法直接更改。同时，建议通过设置变量来控制其他操作的并行性。
摘要由CSDN通过智能技术生成

flink 中WindowAll后的 reduce 并行数为什么是1，但不代表所有的窗口符合该条件

如何控制并行数，用一个变量存起来呗，parallelism 变量存放某个操作的并行数。一般是有默认配置或者用户指定。
那为什么WindowAll后reduce 只有一个并行数。且无法改变。
因为强制把此操作的并行数设置为1 了呗。

// 这是 AllWindowedStream类的 reduce(...) 中的一段。很明显在强制操作。
 return input.transform(opName, resultType, operator).forceNonParallel();
 
// 这是 SingleOutputStreamOperator类中的方法，就是在设置并行数
public SingleOutputStreamOperator<T> forceNonParallel() {
   
        transformation.setParallelism(
最低0.47元/天 解锁文章
a解code
关注
专栏目录
【深入浅出flink】第9篇：详细解读flink中GlobalWindows、window、windowAll的区别与联系
雷恩Layne
01-16 6261
刚学习flink的同学可能会有疑惑，GlobalWindows、window、windowAll到底有什么关系？GlobalWindows和windowAll的并行度都是1吗？window和windowAll的区别是什么？看了这篇文章，你将完全明白它们之间的区别与联系。
Flink窗口
qq_38016945的博客
09-04 1150
除了由时间驱动之外， 窗口其实也可以由数据驱动，也就是说按照固定的数量，来截取一段数据集，这种窗口叫作“计数窗口”（Count Window），如图。这很好理解，“会话”终止的标志就是“隔一段时间没有数据来”，如果不依赖时间而改成个数，就成了“隔几个数据没有数据来”，这完全是自相矛盾的说法。滑动的距离代表了下个窗口开始的时间间隔，而窗口大小是固定的，所 以也就是两个窗口结束时间的间隔；在这种情况下，我们 就可以定义一个窗口，收集最近一分钟内的所有用户点击数据，然后进行聚合统计，最终输出 一个结果就可以了。
Flink单并行度消费kafka触发窗口计算问题
HugeBitter的博客
07-02 1159
Flink单并行度消费kafka触发窗口计算问题基本信息验证：生产者发送消息：窗口统计代码(并行度设为1)：最终窗口输出结果：调整并行度与topic一致 基本信息 flink版本1.11 问题：flink上游数据源为kafka，topic有10个分区，在flink单并行度消费该topic进行窗口统计，job稳定运行统计数据差异不明显，如果job异常，进行重启，消费积压数据进行窗口统计，发现数据异常。 排查：由于上游topic数据为埋点，时间格式比较乱，怀疑flink在单并行度消费多partition的kaf
FlinkCDC数据同步Bug——同步性能由于写入并行度限制无法提升问题的解决
csdn_lan的博客
05-10 1674
使用FlinkCDC进行数据同步时，出现增量阶段写入并行度强制为1导致整体同步性能无法提升问题的解决方案
十九、Flink自定义单并行Source
猫猫爱吃小鱼粮
08-13 537
Flink自定义单并行的Source
flink sql设置并行度_如何使用 Flink 每天实时处理百亿条日志？
weixin_39616416的博客
11-30 715
“ Sherlock.IO 是 eBay 现有的监控平台，每天要处理上百亿条日志、事件和指标。Flink Streaming job 实时处理系统用于处理其中的日志和事件。图片来自 Pexels本文将结合监控系统 Flink 的现状，具体讲述 Flink 在监控系统上的实践和应用，希望给同业人员一些借鉴和启发。监控系统 Flink 的现状eBay 的监控平台 Sherlock.IO 每天...
Flink 窗口聚合函数之ReduceFunction实践
weixin_38255219的博客
06-11 1676
Flink Window API之ReduceFunction实践 一、ReduceFunction的概念 Flink使用ReduceFunction来对窗口中的元素进行增量聚合。要求输入和输出的数据类型一致，定义了如何把两个输入的元素进行合并来生成相同类型的输出元素的过程。 二、案例实践：每隔5秒统计通话日志的数量 1.日志数据对象 case class Log(sid:String,var callOut:String, var callIn:String, callType:String, callT
Flink窗口概述及用法详解
踏雪无痕
07-30 2122
一.简介 窗口window是处理无限流的核心。窗口将流分成有限大小的“存储块”，我们可以在其上应用计算。本博客重点介绍如何在Flink中执行窗口化，以及程序员如何从其提供的功能中获得最大收益。 窗口式Flink程序的一般结构如下所示。第一个片段指的是键控流，而第二个片段指的是非键控流。正如人们所看到的，唯一的区别是keyBy(…)使用window操作键控流和使用windowAll(…)操作的非键控流。 键控窗口 stream .keyBy(...) <- k
Flink窗口API、窗口分配器和窗口函数
最新发布
roi666的博客
01-19 1606
需要先对DataStream调用.keyBy()进行按键分区，然后再调用.window()定义窗口。
Flink学习11：flink程序并行度
hzp666的博客
08-04 1805
如上 生成环境后，设置setParallelism 为1，即代表设置并行度为1.
flink sql设置并行度_Flink的DataSource三部曲之三:自定义
weixin_39624429的博客
11-23 623
欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等； 本篇概览 本文是《Flink的DataSource三部曲》的终篇，前面都是在学习Flink已有的数据源功能，但如果这些不能满足需要，就要自定义数据源（例如从数据库获取数据），也就是今天实战的内容...
Flink1.10从0到1：（六）Flink的并行度和Slot
joshua
07-07 938
一、简介 Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程（Solt）上执行一个或多个 subtask。Flink 的每个 TaskManager 为集群提供 Solt。Solt 的数量通常与每个 TaskManager 节点的可用 CPU 内核数成比例，一般情况下 Slot 的数量就是每个节点的 CPU 的核数。Slot的数量由集群中flink-conf.yaml配置文件中设 置taskmanager.numberOfTaskSlots 的...
Apache Flink：测试使用reduce增量聚合和windowAll操作
编程学习者的博客
06-06 1489
1.声明 当前内容主要为测试和使用Apache Flink中的增量聚合操作，当前内容主要借鉴：Flink官方文档 主要内容有 使用Flink的增量聚合 分析增量聚合操作 windowAll操作 pom依赖:参考前面的文章 2.增量聚合操作的demo 数据源参考前面博文中的ComputerTemperature这个实体类 import org.apache.flink.api.common.functions.ReduceFunction; import org.apache.flink.streami
Flink核心概念之window
渐宽阁读书小弟
03-12 507
**目录： 自定义SourceFunction用于测试 时间窗口 滚动时间窗口 可以设置并行度 timeWindow(Time.seconds(10)) window(TumblingProcessingTimeWindows.of(Time.seconds(10))) 并行度始终为1 timeWindowAll() windowAll() 滑动时间窗口 可以设置并行度 timeWindow(T...
Flink的Window与WindowAll 算子对比
热门推荐
qq_31866793的博客
10-31 1万+
案例： 最大的区别，一个可以设置并行度，一个不能设置并行度 Window算子：是可以设置并行度的 dataStream.keyBy(0).window(TumblingEventTimeWindows.of(Time.seconds(5))); WindowAll 算子：并行度始终为1 dataStream.windowAll(TumblingEventTimeWindows....
十八、Flink自定义多并行Source
猫猫爱吃小鱼粮
08-13 2933
Flink自定义多并行Source
Flink中的window
qq_43118086的博客
08-25 227
窗口化的Flink程序的一般结构如下，第一个代码段中是分组的流，而第二段是非分组的流。唯一的区别是分组的stream调用keyBy(…)和window(…)，而非分组的stream中换成了windowAll(…)，在非分组数据流中，你的原始数据流并不会拆分成多个逻辑流并且所有的window逻辑将在一个任务中执行，并发度为1。 Window 的生命周期 当一个属于window的元素到达之后这个window就创建了，而当当前时间(事件或者处理时间)为window的创建时间跟用户指定的延迟时间及窗口长度及允许迟
Flink源码系列(生成StreamGraph)-第三期
Airy的博客
04-30 675
上一期指路： 上一期我们分析完了用户代码，其核心是把相关算子加入transformations中，这个对于生成流图很重要。我们在编写用户代码时，最后一步肯定会写env.execute这一步，如果不写的话，那么程序其实并没有真正意义上的运行。于是我们接着从execute函数开始进行源码分析 1.StreamExecutionEnvironment#execute public JobExecutionResult execute(String jobName) throws Exception
流计算与应用服务1：DataArtisans StreamingLedger原理浅析
oLingHuBieChong的博客
10-28 374
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
flink窗口没有执行后面的reduce函数
07-28
如果您发窗口操作后没有执行 reduce 函数，有以下几个原因： 1. 数据源问题：确保您的数据源能够正常产生数据且数据能够正确进入窗口操作。通过打印日志或使用试工具来确认数据是否正确流入窗口。 2. 窗口配置问题...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值