Flink大数据实时计算系列-Flink的operatorState的ListCheckpointed接口使用

最新推荐文章于 2022-02-23 07:50:07 发布
最新推荐文章于 2022-02-23 07:50:07 发布
阅读量248 收藏 1
点赞数
分类专栏： 人工智能NLP、计算机视觉及大数据Flink技术
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/118074515
版权

Flink大数据实时计算系列-Flink的operatorState的ListCheckpointed接口使用

目录

Flink的operatorState的ListCheckpointed接口使用

在这里插入图片描述
ListCheckpointed

/*
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a co
了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
Flink Operator State 实例 实现ListCheckpointed
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 1320
public interface ListCheckpointed<T extends Serializable> { // Checkpoint时会调用这个方法，我们要实现具体的snapshot逻辑，比如将哪些本地状态持久化 List<T> snapshotState(long checkpointId, long timestamp) throws Exception; // 从上次Checkpoint中恢复数据到本地内存 void restoreState(L.
Flink 通过 ListCheckpointed 和 CheckpointedFunction 实现操作 OperatorState 的有状态函数
最新发布
SmartSi
04-21 286
Flink 实现操作 OperatorState 的有状态函数，有两种实现方式： - 第一种是通过实现 CheckpointedFunction 接口 - 第二种是通过实现 ListCheckpointed 接口
聊聊flink的ListCheckpointed
weixin_34208283的博客
12-06 169
序 本文主要研究一下flink的ListCheckpointed 实例 public static class CounterSource extends RichParallelSourceFunction<Long> implements ListCheckpointed<Long&g...
聊聊flink的ListCheckpointed 
大JAVA解决方案
02-20 756
本文主要研究一下flink的ListCheckpointed 实例 public static class CounterSource extends RichParallelSourceFunction<Long> implements ListCheckpointed<Long> { /** current ...
Flink使用托管算子状态ListCheckpointed
qq_39261894的博客
06-18 556
要使用托管算子状态，有状态函数可以实现更通用的CheckpointedFunction接口或ListCheckpointed<T extends Serializable>接口。官方参考链接:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/stream/state/state.html#listcheckpointed 此文使用ListCheckpointed，如下是官网的案例 class CounterSou
从0到1Flink的成长之路(二十)-Flink 高级特性（二）之存储 State 数据结构
熊老二的博客
06-27 729
存储 State 数据结构 前面说过：有状态计算其实就是需要考虑历史数据，而历史数据需要搞个地方存储起来。 Flink为了方便不同分类的State的存储和管理，提供了如下API/数据结构来存储State。 1）、Keyed State Keyed State 通过 RuntimeContext 访问，这需要 Operator 是一个RichFunction。保存 Keyed state的数据结构:  ValueState：即类型为T的单值状态。这个状态与对应的key绑定，是最简单的状态。它可以通过upd
Apache-Flink
@xiao黑的博客
03-17 553
Apache-Flink 概述 Flink是构建在数据流之上地有状态计算地流计算框架 通常被人们理解为是第三代大数据分析方案 第一代-Hadoop的MapReduce(计算) Storm流计算(2014.9) 两套独立计算引擎 使用难度大 第二代-Spark RDD静态批处理(2014.2) DStream|Structured Streaming流计算 统一计算引擎 难度系数小 第三代-Fli...
【Flink】Flink的状态管理
HR的博客
02-23 594
Flink的状态管理Flink中的状态状态的分类Operator StateKeyed State状态后端（State Backends） Flink中的状态 什么是状态？ 由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态 可以认为状态就是一个本地变量，可以被任务的业务逻辑访问 Flink 会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑 有些算子有些任务是没有状态的，如map操作，只跟输入数据有关。像窗口操作不管是增量窗
Flink：把状态State全都扒光，远走他乡：State初始，广播状态
马小婧QAQ
06-03 1453
Statechu初始： State是指流计算过程中计算节点的中间计算结果或元数据属性，比如 在aggregation过程中要在state中记录中间聚合结果，比如 Apache Kafka 作为数据源时候，我们也要记录已经读取记录的offset，这些State数据在计算过程中会进行持久化(插入或更新)。所以Apache Flink中的State就是与时间相关的，Apache Flink任务的内部数据(计算数据和元数据属性)的快照。 State分类：Keyed State和Operator Sta.
【Flink流式计算框架】State(KeyedState/OperatorState)和StateBackend及配置
一梦
08-05 921
011-FlinkStatestate概述State类型KeyedState案例Operator State案例（unKeyedState）State backendMemoryStateBackendFsStateBackendRocksDBStateBackendStateBackend配置方式 State：一般指一个具体的task/operator的状态。      Keyed State（keyBy）：托管状态、原始状态 工作中用的较多
Flink Operator State 实例 实现CheckpointedFunction
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 1509
public interface CheckpointedFunction { // Checkpoint时会调用这个方法，我们要实现具体的snapshot逻辑，比如将哪些本地状态持久化 void snapshotState(FunctionSnapshotContext context) throws Exception; // 初始化时会调用这个方法，向本地状态中填充数据 void initializeState(FunctionInitializationContext con.
Flink 异常处理-State和Checkpoint实践
u013560925的博客
09-15 7008
目录 目录 背景 正文          State 什么是State(状态)？ State类型 State理解 State实战 CheckPointing （1）介绍，实现方式分类 （2） 使用Manage State，Flink自动实现state保存和恢复 （3） 自定义state 自行实现实现checkpoint接口 借鉴文章   背景            ...
Flink Checkpoint（检查点）
Widsom的博客
10-31 2778
Flink Checkpoint（检查点） Flink中的每个函数和运算符都可以是有状态的（如果是Keyed Stream，使用ValueState、ListState等状态，如果是Operator State，实现CheckpointedFunction或CheckpointedList接口。使用ListState、MapState获取状态）。有状态的函数在各个元素/事件处理中存储数据。使状态成...
聊聊flink的CheckpointedFunction
weixin_33736832的博客
12-05 532
序 本文主要研究一下flink的CheckpointedFunction 实例 public class BufferingSink implements SinkFunction&lt;Tuple2&lt;String, Integer&gt;&gt;, CheckpointedFunction { private final in...
Flink State状态以及Checkpoint机制（一）
热门推荐
不清不慎的博客
05-29 1万+
一、State状态 在Flink中，它使用了State状态机制以及Checkpoint策略提供了强大的容错机制，不过我们需要注意区分它们，State状态是指一个Flink Job中的task中的每一个operator的状态，而Checkpoint是指在某个特定的时刻下，对整个job一个全局的快照，当我们遇到故障或者重启的时候可以从备份中进行恢复。 在Flink中，State中主要分为Operato...
Flink源码解析之State的实现
刘人杰的博客
02-28 6212
State的实现Flink通过异步的checkpoint机制来实现流式处理过程中的容错，简单来讲就是定时地将本地的状态序列化到一个持久存储中，当出现错误是通过恢复检查点的状态来实现容错的，对于机制的详细介绍可以参见这个链接，本章主要讲述flink源码中state的实现。
Flink 状态管理与checkPoint数据容错机制深入剖析-Flink牛刀小试
weixin_34095889的博客
11-24 742
版权声明：本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。版权声明：禁止转载，欢迎学习。QQ邮箱地址：1120746959@qq.com，如有任何问题，可随时联系。 1 何为状态 在批处理过程中，数据是划分为块分片去完成的，然后每一个Task去处理一个分片。当分片执行完成后，把输出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值