flink实战--累加器（accumulator）如何使用

最新推荐文章于 2024-02-02 13:34:42 发布
最新推荐文章于 2024-02-02 13:34:42 发布
阅读量1.2k 收藏 3
点赞数 1
分类专栏： Flink学习必读系列 文章标签： flinkl累加器 flink如何使用累加器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/103618874
版权

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

简介

           Flink的Accumulators(累加器)相比spark的累加器，使用起来是非常简单的。通过一个add操作累加最终的结果，在flink任务执行完可以获取最终结果，通过累加器我们可以获取flink任务某些指标的全局值，没有累加器你只能获取单个分区的值，所以累加器在调试程序或者更快了解你的flink任务运行数据的时候是非常有用的。

使用步骤

第一步：创建

                在你需要使用累加器的transformation算子中创建你的累加器，并给累加器命名，累加器的名称是全局唯一的。另外transformation算子最好是RichFunction，比如在RichMapFunction中创建一个累加器对象(在这是一个counter)。

MapOperator
了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink 累加器 实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 1751
每个并行的任务实例下有各自的累加器，获取最终值时会把各个并行任务的累加器的值求和。（一个并行度对应一个累加器） map并行度1:
Flink 实战 - 源码 java 源码demo
最新发布
03-19
Flink 实战 - 源码 java demo源码，同<<Flink 实战>>一书同步
Flink的累加器（Accumulator）应用
九师兄
10-03 4002
1. 累加器的简单介绍 累加器是从用户函数和操作中，分布式地统计或者聚合信息。每个并行实例创建并更新自己的Accumulator对象, 然后合并收集器的不同并行实例。在作业结束时由系统合并。 累加器的结果可以从作业执行的结果中获得，也可以从Web运行时监视器中获得。 累加器是受Hadoop/MapReduce计数器的启发。但是要注意添加到累加器的类型可能与返回的类型不同。比如：我们添加单个对象,但...
flink 累加器
TB_CYX的博客
02-02 364
Flinkk累加器
Flink中aggregate[AggregateFunction]的使用及讲解
AnameJL的博客
06-06 3080
AggregateFunction的使用
FlinkSQL聚合函数（Aggregate Function）详解
猫猫爱吃小鱼粮
11-12 1263
FlinkSQL聚合函数（Aggregate Function）详解
Flink累加器Accumulator使用
shufangreal的博客
04-25 1539
Flink累加器Accumulator 在Flink程序中如果需要对某些数值进行累加，我们可以用到累加器 累加器也是在JobManager的内存中生成，同时传给TaskManager内存给tasks进行累加的只读数据结构，必须等task操作都操作完了之后才能在客户端读取到累加器的值。 切记：数据在线程内存中传递需要实现序列化 累加器分类 IntCounter LongCounter Double...
【Flink原理和应用】：Flink的累加器（Accumulator）应用
hxcaifly的博客
01-17 3838
1. 累加器的简单介绍 累加器是从用户函数和操作中，分布式地统计或者聚合信息。每个并行实例创建并更新自己的Accumulator对象, 然后合并收集器的不同并行实例。在作业结束时由系统合并。 累加器的结果可以从作业执行的结果中获得，也可以从Web运行时监视器中获得。 累加器是受Hadoop/MapReduce计数器的启发。但是要注意添加到收集器的类型可能与返回的类型不同。比如：我们添加单个对象,但...
Flink数据类型、序列化与累加器Accumulator
不清不慎的博客
05-21 1317
本篇文章简单介绍一下Flink中的数据类型与累加器以及计数器的使用。 一、数据类型 在Flink的DataSet以及DataStream中对可使用的元素添加了一些约束条件，目的是为了能够有效的分析这些类型的执行策略以及选择不同的序列化方式。 以下列举7种Flink种常用的数据类型： Java/Scala Tuple Java POJO和Scala case class 基本类型（Intege...
java Flink（三十八）用户自定义Functions-累加器
qq_40771567的博客
07-23 321
自定义Functions官方介绍就是除了我们自定义实现Flink提供的各种算子外，还提供了累加器等。 实现比较简单，就是简单的上下文注册以及使用。 代码： import org.apache.flink.api.common.accumulators.IntCounter; import org.apache.flink.api.common.functions.RichFlatMapFunction; import org.apache.flink.configuratio...
flink-1.14.0-bin-scala_2.11.tgz
07-18
flink-1.14.0-bin-scala_2.11.tgz
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
flink-shaded-hadoop-3下载
05-19
flink-shaded-hadoop-3下载
flink-table-runtime-blink_2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-table-runtime-blink_2.11-1.10.0.jar； 赠送原API文档：flink-table-runtime-blink_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-table-runtime-blink_2.11-1.10.0-sources.jar； 赠送Maven依赖...
flink实战--flinkSQL入门大全
热门推荐
阿华田的博客
11-12 2万+
FlinkSQL概念介绍 Table API & SQL Apache Flink具有两个关系API - 表API和SQL - 用于统一流和批处理。Table API是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系运算符的查询，Table API和SQL接口彼此紧密集成，以及Flink的DataStream和DataSet A...
flink实战--开发中常见的错误与问题
阿华田的博客
12-19 1万+
常见错误集 1.Checkpoint失败：Checkpoint expired before completing env.enableCheckpointing(1000L) val checkpointConf = env.getCheckpointConfig checkpointConf.setMinPauseBetweenCheckp...
flink实战--flink原理解析
阿华田的博客
09-30 1万+
Flink出现的背景 我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法............
flink实战--数据写入redis（redisSink）
阿华田的博客
01-14 1万+
简介 通过flink操作redis其实我们可以通过传统的redis连接池Jpools进行redis的相关操作，但是flink提供了专门操作redis的Redis Sink，使用起来更方便，而且不用我们考虑性能的问题，接下来将主要介绍Redis Sink如何使用。 RedisSink简介 Redis Sink 提供用于向Redis发送数据的接口的类。接收器可以使用三...
flink实战--数据写入ES（ElasticSearch）
阿华田的博客
02-15 1万+
简介 Flink内置了Elasticsearch Connector用于对ES进行数据的操作，里面主要的类是ElasticsearchSink，使用时我们需要实现里面的抽象方法，自定义自己的逻辑。 版本说明： ES版本：6.3.2 flink 1.6.1 需要添加的依赖 <dependency> <groupId>org....
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
07-27
您好！对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要添加相关的Hadoop依赖项。 2. 创建一个Flink StreamTableEnvironment 通过创建一个Flink StreamTableEnvironment，您可以使用Flink SQL来处理和操作流数据。 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env); ``` 3. 定义输入表和输出表 您需要定义一个输入表和一个输出表，以便在Flink SQL中引用它们。 ```java tableEnv.executeSql("CREATE TABLE inputTable (field1 INT, field2 STRING) WITH (...)"); tableEnv.executeSql("CREATE TABLE outputTable (field1 INT, field2 STRING) WITH (...)"); ``` 在上述代码中，您需要根据实际情况替换`WITH (...)`部分，并根据您的输入数据源和输出目标进行配置。 4. 将数据流写入输出表 使用Flink SQL的INSERT INTO语句，您可以将数据从输入表写入输出表。 ```java tableEnv.executeSql("INSERT INTO outputTable SELECT * FROM inputTable"); ``` 在上述代码中，我们使用SELECT *从输入表中选择所有字段，并将其插入输出表中。 5. 执行Flink程序 最后，使用`env.execute()`来触发Flink程序的执行。 ```java env.execute(); ``` 这将启动Flink作业并开始将数据流写入文件系统。 请注意，上述步骤是一个简单的示例，您需要根据实际情况进行适当的配置和调整。另外，根据您选择的文件系统，可能还需要进行额外的配置和设置。 希望以上信息对您有所帮助！如有任何进一步的问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值