flink实战--累加器（accumulator）如何使用

最新推荐文章于 2024-11-18 11:33:32 发布
最新推荐文章于 2024-11-18 11:33:32 发布
阅读量1.3k 收藏 3
点赞数 1
分类专栏： Flink学习必读系列 文章标签： flinkl累加器 flink如何使用累加器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/103618874
版权
本文详细介绍了Flink累加器的使用步骤，包括创建、注册和使用，并强调了注意事项。通过实例展示了如何统计Map算子中成功读取HDFS文件的行数，同时提到了自定义累加器的实现方式。利用累加器，可以在Flink任务执行后获取全局指标值，方便调试和理解任务运行情况。
摘要由CSDN通过智能技术生成

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

           Flink的Accumulators(累加器)相比spark的累加器，使用起来是非常简单的。通过一个add操作累加最终的结果，在flink任务执行完可以获取最终结果，通过累加器我们可以获取flink任务某些指标的全局值，没有累加器你只能获取单个分区的值，所以累加器在调试程序或者更快了解你的flink任务运行数据的时候是非常有用的。

使用步骤

第一步：创建

                在你需要使用累加器的transformation算子中创建你的累加器，并给累加器命名，累加器的名称是全局唯一的。另外transformation算子最好是RichFunction，比如在RichMapFunction中创

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink的累加器（Accumulator）应用
九师兄
10-03 4186
1. 累加器的简单介绍 累加器是从用户函数和操作中，分布式地统计或者聚合信息。每个并行实例创建并更新自己的Accumulator对象, 然后合并收集器的不同并行实例。在作业结束时由系统合并。 累加器的结果可以从作业执行的结果中获得，也可以从Web运行时监视器中获得。 累加器是受Hadoop/MapReduce计数器的启发。但是要注意添加到累加器的类型可能与返回的类型不同。比如：我们添加单个对象,但...
【Flink实战系列】Flink累加器的使用(accumulator)
JasonLee实时计算
01-28 6796
Flink的Accumulator即累加器，与Saprk Accumulator 的应用场景差不多，都能很好地观察task在运行期间的数据变化 可以在Flink job任务中的算子函数中操作累加器，但是只能在任务执行结束之后才能获得累加器的最终结果。spark的累加器用法. Flink中累加器的用法非常的简单: 1：创建累加器： valacc = new IntCounter();...
flink - accumulator
weixin_34055787的博客
08-10 209
  读accumlator JobManager 在job finish的时候会汇总accumulator的值， newJobStatus match { case JobStatus.FINISHED => try { val accumulatorResults = executionGraph.getAccumulatorsSerialized() ...
Flink使用详解
最新发布
m0_63164811的博客
11-18 742
Flink使用详解
Flink累加器Accumulator使用
shufangreal的博客
04-25 1815
Flink累加器Accumulator 在Flink程序中如果需要对某些数值进行累加，我们可以用到累加器 累加器也是在JobManager的内存中生成，同时传给TaskManager内存给tasks进行累加的只读数据结构，必须等task操作都操作完了之后才能在客户端读取到累加器的值。 切记：数据在线程内存中传递需要实现序列化 累加器分类 IntCounter LongCounter Double...
flink-Accumulator(累加器)
杜海的博客
01-10 927
概念 Accumulator(累加器)：累加器主要作用在用户操作(operate)中收集分布式统计信息或聚合信息。每个并行实例创建并更新其自己的累加器对象，不同并行实例的累加器由系统作业结束后合并。结果可以从作业执行的结果中获得，也可以从web运行时监视器中获得。 分类 IntCounter LongCounter DoubleCounter Histogram 自定义(实现Simp...
【Flink原理和应用】：Flink的累加器（Accumulator）应用
hxcaifly的博客
01-17 4009
1. 累加器的简单介绍 累加器是从用户函数和操作中，分布式地统计或者聚合信息。每个并行实例创建并更新自己的Accumulator对象, 然后合并收集器的不同并行实例。在作业结束时由系统合并。 累加器的结果可以从作业执行的结果中获得，也可以从Web运行时监视器中获得。 累加器是受Hadoop/MapReduce计数器的启发。但是要注意添加到收集器的类型可能与返回的类型不同。比如：我们添加单个对象,但...
flink实战--UDF
阿华田的博客
01-19 5784
简介 UDF可以帮助我们极大地扩展了查询的表达能力，flink Sql自定义函数（UDF）和spark Sql 自定义函数原理是一样的，主要步骤无非就是，注册函数，自定义函数类实现flink自带的接口函数。和spark的UDF对比着来 ，下面介绍具体实现步骤。 UDF的分类和定义 UDF(User-Defined-Function)一进一出。 UDAF(User-...
Flink 累加器Accumulator
u012667450的博客
04-27 1408
Flink 累加器Accumulator 1.概述 累加器是具有加法运算和最终累加结果的一种简单结构，可在作业结束后使用。 最简单的累加器就是计数器: 你可以使用 Accumulator.add(V value) 方法将其递增。在作业结束时，Flink 会汇总（合并）所有部分的结果并将其发送给客户端。 Flink 目前有如下内置累加器。都实现了累加器接口。 IntCounter, LongCounter 和 DoubleCounter : 有关使用计数器的示例，请参见下文。 直方图 : 离散数量的柱状直方
Flink 计数器Accumulator
王小工小工历程
06-18 727
通常，不需要直接定义 Accumulator 接口的实现，因为 Flink 已经为提供了一些内置的 Accumulator 类型，如 IntCounter, LongCounter, DoubleCounter 等。但如果需要自定义的聚合逻辑，可以实现 Accumulator 接口。
累加器（Accumulator）
suojie的博客
03-08 2254
public class AccumulatorDemo { public static void main(String[]args){ System.setProperty("hadoop.home.dir", "E:\\software\\bigdate\\hadoop-2.6.0-cdh5.15.0\\hadoop-2.6.0-cdh5.15.0"); ...
Flink Accumulators累加器、Counters计数器的使用和实现自定义Accumulators、Counters
Bulut0907
11-13 1848
目录1. 自定义Accumulators 1. 自定义Accumulators 自定义的方式有两种，两种之间除了要求的数据类型不一样，其它都一样 Accumulator<V, R>: 其中V指add的数据的类型、R指结果的类型 SimpleAccumulator<T>: 其中T指add和结果的数据的类型 ...
Flink 累加器 实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 1839
每个并行的任务实例下有各自的累加器，获取最终值时会把各个并行任务的累加器的值求和。（一个并行度对应一个累加器） map并行度1:
Flink系列：Accumulator的使用方法
NIO4444
06-28 1402
FlinkAccumulator Count 是一个具体累加器的实现， 常用的Counter有：IntCounter、LongCounter、DoubleCounter 如果并行度为1，则普通求和即可 ；如果设置多个并行，则普通累加器求和的结果就不准确 Flink Broadcast和Accumulator 的区别 • Broadcast 允许将1个只读的变量缓存在多台机器上，而不用在任务之间传递变量。广播变量可以进行共享 ，但是不可以进行修改 • Accumu...
Flink累加器和计数器
feizuiku0116的博客
01-13 1342
一、介绍 累加器（Accumulator）有加法运算功能。在程序运行期间，累加器能观察任务的数据变化，这在调试过程中非常有用。累加器通过add()方法累加数据，在作业结束之后获得累加器的最终结果。 最简单的累加器是一个计数器(Counter)，可以使用Accumulator.add()方法进行累加。在作业结束时，Flink将合并所有结果，并将最终结果发送给客户端。 目前Flink内置的几种累加器： Counter：计数器，包含IntCounter、LongCounter、DoubleCounter Hi
09-flink-Accumulator(累加器)
dwb502的专栏
11-04 659
09-flink-Accumulator(累加器) 概念 Accumulator(累加器)：累加器主要作用在用户操作(operate)中收集分布式统计信息或聚合信息。每个并行实例创建并更新其自己的累加器对象，不同并行实例的累加器由系统作业结束后合并。结果可以从作业执行的结果中获得，也可以从web运行时监视器中获得。 分类 IntCounter LongCounter DoubleCounter ...
Flink入门及实战（12）- Flink Accumulators 和 Counters
一角残叶的博客
08-23 417
1 累加器 package com.tzb.demo.batch.batchAPI; import org.apache.flink.api.common.JobExecutionResult; import org.apache.flink.api.common.accumulators.IntCounter; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.func
Flink 源码剖析｜4. 累加器与相关工具方法
长行
02-15 1182
在 Flink 官方文档中，提到单个作业的所有累加器共享一个命名空间，Flink 会合并所有具有相同名称的累加器。（合并多个累加器的结果）功能的一种数据结构，在作业结束后，可以获取所有部分（各个 operator 的各个 subtask）合并后的最终结果并发送到客户端。类型表示累加器结果的类型，这个类型必须是可序列化的。，但是要求累加的值的类型与累加器的结果的类型必须相同，适用于一些相对简单的操作，例如计数器。类型表示每一次向累加器中的累加的值的类型，这个类型不要求是可序列化的；
Flink使用指南：Flink设置全局变量，并在函数中获取，让你的代码更加优雅！
热门推荐
徐腾瑞的博客
07-15 1万+
系列文章目录 Flink使用指南：Checkpoint机制，完全搞懂了，你就是大佬！ Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！ Flink使用指南: Kafka流表关联HBase维度表 Flink使用指南: Watermark新版本使用 Flink使用指南: Flink SQL自定义函数 设置全局变量 Flink允许将自定义的配置传递给ExecutionConfig的环境接口，由于执行配置科在所有的用户功能中访问，因此自定义配置将在所有功能中全局可用。 Conf
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
07-27
您好！对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要添加相关的Hadoop依赖项。 2. 创建一个Flink StreamTableEnvironment 通过创建一个Flink StreamTableEnvironment，您可以使用Flink SQL来处理和操作流数据。 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); ``` 3. 定义输入表和输出表 您需要定义一个输入表和一个输出表，以便在Flink SQL中引用它们。 ```java tableEnv.executeSql("CREATE TABLE inputTable (field1 INT, field2 STRING) WITH (...)"); tableEnv.executeSql("CREATE TABLE outputTable (field1 INT, field2 STRING) WITH (...)"); ``` 在上述代码中，您需要根据实际情况替换`WITH (...)`部分，并根据您的输入数据源和输出目标进行配置。 4. 将数据流写入输出表 使用Flink SQL的INSERT INTO语句，您可以将数据从输入表写入输出表。 ```java tableEnv.executeSql("INSERT INTO outputTable SELECT * FROM inputTable"); ``` 在上述代码中，我们使用SELECT *从输入表中选择所有字段，并将其插入输出表中。 5. 执行Flink程序 最后，使用`env.execute()`来触发Flink程序的执行。 ```java env.execute(); ``` 这将启动Flink作业并开始将数据流写入文件系统。 请注意，上述步骤是一个简单的示例，您需要根据实际情况进行适当的配置和调整。另外，根据您选择的文件系统，可能还需要进行额外的配置和设置。 希望以上信息对您有所帮助！如有任何进一步的问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值