flink-13 Flink之Counter（计数器/累加器）

最新推荐文章于 2023-03-28 00:28:33 发布
最新推荐文章于 2023-03-28 00:28:33 发布
阅读量2.2k 收藏 3
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a3125504x/article/details/108718894
版权
本文介绍了Flink中的Accumulator和Counter概念，它们用于观察task运行时的数据变化。Counter作为Accumulator的一种实现，包括IntCounter、LongCounter和DoubleCounter。文中提供了一个示例，演示如何利用Counter统计文件中'Exception'关键字出现的次数，该统计结果需在任务完成后查看。
摘要由CSDN通过智能技术生成

Flink之Counter

概念

Accumulator即累加器，与Mapreduce counter的应用场景差不多，都能很好地观察task在运行期间的数据变化，可以在Flink job任务中的算子函数中操作累加器，但是只能在任务执行结束之后才能获得累加器的最终结果。
Counter是一个具体的累加器(Accumulator)实现IntCounter, LongCounter 和 DoubleCounter

用法

1.创建累加器
private IntCounter numLines = new IntCounter(); 

2.注册累加器
getRuntimeContext().addAccumulator("num-lines", this.numLines);

3.使用累加器
this.numLines.add(1); 

4.获取累加器的结果
myJobExecutionResult.getAccumulatorResult("num-lines")

最低0.47元/天 解锁文章
爱吃甜食_
关注
专栏目录
Flink大数据实时计算系列-Flink的累加器和计数器
段智华的博客
07-16 1152
Flink大数据实时计算系列-Flink的累加器和计数器 目录 Flink的累加器和计数器有界数据流无界数据流Flink参考链接Flink系列博客 Flink的累加器和计数器 有界数据流 案例代码 package com.flinkniu.flink.windows; import org.apache.flink.api.common.JobExecutionResult; import org.apache.flink.api.common.accumulators.IntCounter; impo
flink-connector-jdbc_2.12-1.14.3.jar
04-07
flink本身DDL的方式目前还不支持clickhouse，本jar添加对clickhouse的支持，导入到flink/lib下即可使用
Flink窗口-计数窗口（CountWindow）
热门推荐
胖虎儿的博客
05-23 1万+
countWindow的具体使用
Flink算子count
Qbit编程学习笔记
11-29 1025
这里借助sum来实现count功能,得到的是Tuple2<PO,Integer>,其中PO是groupBy的几个字段,而Integer是count的结果,需要注意的是,会产生多条count记录,从1开始直至最大值 DataStream<Tuple2<PO, Integer>> newStream = stream.map( new MapFunction<PO, Tuple2<PO, Integer>>() {
flink教程（1）--word count
skycanf的博客
05-23 4637
一、Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。 Flink Application 了解Flink 应用开发需要先理解Flink 的Streams、State、Time 等基础处理语义以及Flink 兼顾灵活性和方便性的多层次API。 Streams：流，分为有限数据流与无限数据流，unbounded stream 是有始无终的数据流，即
Flink（二十七）—— Flink Metrics 原理与监控实战
weixin_42073629的博客
10-17 1174
什么是 Metrics？ Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实时查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。 Metric Types Metrics 的类型如下： 首先，常用的如 Counter，写过 mapreduce 作业的开发人员就应该
Flink 累加器 实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 1803
每个并行的任务实例下有各自的累加器，获取最终值时会把各个并行任务的累加器的值求和。（一个并行度对应一个累加器） map并行度1:
flink-1.16.2下载安装包，flink-1.16.2-bin-scala-2.12.zip
02-29
- **解压**：首先，需要将`flink-1.16.2-bin-scala_2.12.zip`文件解压缩到本地目录。 - **环境变量设置**：配置`FLINK_HOME`环境变量指向解压后的目录，并将`bin`目录添加到PATH环境变量中。 - **启动与停止**：...
flink-1.14.0-bin-scala_2.11.tgz
07-18
首先，我们来看看标题“flink-1.14.0-bin-scala_2.11.tgz”，这表明这是一个针对 Scala 2.11 的 Flink 1.14.0 安装包。Scala 是一种多范式编程语言，广泛用于构建分布式系统，特别是大数据处理框架。它与 Flink 的...
flink-sql-connector-kafka-2.12-1.13.1.jar
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
flink-connector-hive-2.12-1.13.1.jar
03-15
flink-connector-hive_2.12-1.13.1.jar 是 Apache Flink 的一个 Hive 连接器 JAR 包，用于在 Flink 中与 Apache Hive 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 Scala 和 Flink 的版本。 ...
flink-1.19.0-bin-scala-2.12.tgz flink-1.16.3-bin-scala-2.12.tgz
最新发布
05-21
标题和描述中提到的"flink-1.19.0-bin-scala-2.12.tgz"和"flink-1.16.3-bin-scala-2.12.tgz"是Apache Flink的两个不同版本的二进制发行版。Flink是一个开源的流处理和批处理框架，它提供了低延迟、高吞吐量的数据...
flink-1.13.6_cdc
07-07
标题中的"flink-1.13.6_cdc"指的是Apache Flink的1.13.6版本，专门用于Change Data Capture (CDC)的实现。Flink是流行的开源流处理框架，它允许实时处理数据流，而CDC则是一种技术，用于捕获数据库中的更改事件并将...
doris-flink-connector
03-25
<flink.version>1.13.5</flink.version> <libthrift.version>0.13.0</libthrift.version> <arrow.version>5.0.0</arrow.version> <maven-compiler-plugin.version>3.8.1</maven-compiler-plugin.version> ...
flink-clickhouse-sink:Flink水槽的Clickhouse
05-17
Flink-ClickHouse-Sink 描述 用于数据库的器。 由。 用于将数据加载到ClickHouse的...flink-clickhouse-sink使用配置属性的两个部分：common和操作员链中的每个接收器。 共同的部分（像全局一样使用）： clickhouse
Flink累加器和计数器
feizuiku0116的博客
01-13 1289
一、介绍 累加器（Accumulator）有加法运算功能。在程序运行期间，累加器能观察任务的数据变化，这在调试过程中非常有用。累加器通过add()方法累加数据，在作业结束之后获得累加器的最终结果。 最简单的累加器是一个计数器(Counter)，可以使用Accumulator.add()方法进行累加。在作业结束时，Flink将合并所有结果，并将最终结果发送给客户端。 目前Flink内置的几种累加器： Counter：计数器，包含IntCounter、LongCounter、DoubleCounter Hi
Flink系列之Flink中Broadcast和Counter整理和实战
luoyepiaoxue2014的博客
12-03 611
Flink系列之Flink中Broadcast和Counter整理和实战
Flink窗口计算
syb18810107241的专栏
03-28 919
Flink窗口计算
Flink累加器
dwjlyl
10-22 1551
Flink累加器
docker-compose.yml 文件中拉取flink容器 版本为1.17.0并在flink包的lib文件夹下加入三个以下三个依赖：https://repo.maven.apache.org/maven2/org/apache/flink/flink-sql-connector-elasticsearch7/3.0.1-1.17/flink-sql-connector-elasticsearch7-3.0.1-1.17.jar、https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-mysql-cdc/2.3.0/flink-sql-connector-mysql-cdc-2.3.0.jar、https://repo1.maven.org/maven2/com/ververica/flink-sql-connector-postgres-cdc/2.3.0/flink-sql-connector-postgres-cdc-2.3.0.jar
06-07
1. 在 `flink-job` 服务中，我们使用了 `volumes` 来挂载 `flink-conf.yaml` 和三个依赖的jar包到容器的 `/opt/flink/conf` 和 `/opt/flink/lib` 目录中。 2. 我们在 `flink-job` 服务的环境变量中设置了 `FLINK_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值