Flink Keyed State 使用步骤

最新推荐文章于 2024-05-01 11:51:20 发布
最新推荐文章于 2024-05-01 11:51:20 发布
阅读量6.4k 收藏
点赞数
分类专栏： flink 文章标签： java flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leilei1366615/article/details/117718253
版权

image-20210608230244617

前提

Keyed State作用在Keyed Stream流基础上（必要条件）

image-20210608231235631

状态注册

Keyed State 需要通过 RuntimeContext 访问，因此Operator （算子）必须需要 是一个RichFunction或其实现

我们要对状态进行定义状态描述器，然后进行注册，最后才可在算子中使用状态帮助我们进行业务逻辑处理

例如下图，是我们自定义的Window，我们需要实现一个RichWindowFunction，即上方所说，算子必须为需要 是一个RichFunction或其实现

image-20210608230544134

然后呢，我们需要定义状态描述器，状态注册

image-20210608230908254

按照以上操作后，Keyed State便可进行使用了

状态使用

image-20210608231040285

保护我方胖虎
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Flink的keyedState
weixin_43466909的博客
04-05 2453
State状态 StateBackEnd CheckPointing 重启策略 CheckPointingMode 重启策略详解 固定次数的重启策略 package cn._51doit.flink.day06; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.restartstrategy..
Flink 之 KeyedState 的使用
u013939918的博客
07-02 1001
场景： 不使用 Flink 提供的 sum() 方法，使用 KeyedState 完成对单词分组求和计算操作。 代码： /** * TODO 不使用 Flink 提供的sum()方法，对单词进行分组求和计算。 * * @author liuzebiao * @Date 2020-2-17 11:42 */ public class KeyedStateDemo { public static void main(String[] args) throws Excepti...
11、Flink 的 Keyed State 详解
最新发布
猫猫爱吃小鱼粮
05-01 1339
Flink 的 Keyed State 详解
Flink-按键分区状态-算子状态-广播状态
勇敢牛牛，不怕困难！
12-25 1121
💎💎💎💎💎  按键分区状态（Keyed State）顾名思义，是任务按照键（key）来访问和维护的状态。它的特点非常鲜明，就是以 key 为作用范围进行隔离。  在进行按键分区（keyBy）之后，具有相同键的所有数据，都会分配到同一个并行子任务中；所以如果当前任务定义了状态，Flink 就会在当前并行子任务实例中，为每个键值维护一个状态的实例。于是当前任务就会为分配来的所有数据，按照 key 维护和处理对应的状态。1.值状态（ValueState）  顾名思义，状态中只保存一个“值”（value）
Flink中基本的State类型介绍
星空的风fly
09-20 5823
我们知道，Flink是一个默认就有状态的分析引擎，为避免Task在处理过程中挂掉了，而导致内存中的数据丢失，Flink引入了State和CheckPoint机制，其中State就是Flink的一种基于内存的状态机制，Flink提供了两种基本的状态类型。 一、基本状态Keyed State与Operator State 1、Keyed State Keyed State：顾名思义就是基于KeyedStream上的状态，这个状态是跟特定的Key绑定的。KeyedStream流上的每一个Key，都对应一个S
Flink主要有两种基础类型的状态：keyed state
qq_42496461的博客
04-22 517
它维护了状态的名称(稍后将看到，你可以创建多个状态，因此他们必须有唯一的名称，以便你可以引用它们)，状态维护的值的类型，和可用户定义function，例如ReduceFunction。推荐使用managed state(而不是raw state)，因为使用managed state，当并行度变化时，Flink可以自动的重新分布状态，也可以做更好的内存管理。ValueState:它会保存一个可以被更新和查询的值(受限于上面提到的输入元素的key，算子看到的每个key可能仅一个值)。
Flink笔记(二十二)：Flink 之 KeyedState 的使用
01-07
 不使用 Flink 提供的 sum() 方法，使用 KeyedState 完成对单词分组求和计算操作。 代码： /** * TODO 不使用 Flink 提供的sum()方法，对单词进行分组求和计算。 * * @author liuzebiao * @Date 2020-2-17 11:...
Flink State体系剖析以及案例实践
01-13
Flink State体系剖析以及案例实践，State按照是否有Key划分KeyedState和OperatorState两种。按照数据结构不同，flink定义了多种state，分别应用于不同的场景，具体实现如下：ValueState、ListState、MapState、...
Flink state manage
07-20
flink state manage 原理， ppt，非常好的资料：State Management in Apache Flink® Consistent Stateful Distributed Stream Processing
Flink架构设计剖析,流State的讲解和练习实战
12-26
Flink State体系可以分为两种基本类型：Keyed State和Operator State。Keyed State记录的是每个key的状态，而Operator State是task级别的state，每个task对应一个state。 Keyed State有五种类型：ValueState、...
Flink State 最佳实践.pdf
03-21
Flink State 最佳实践
Flink---键控状态（keyed state）
Knight
07-03 2893
键控状态是根据输入数据流中定义的键（key）来维护和访问的。Flink 为每个键值维护一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护和处理这个 key 对应的状态。当任务处理一条数据时，它会自动将状态的访问范围限定为当前数据的 key。因此，具有相同 key 的所有数据都会访问相同的状态。Keyed State 很类似于一个分布式的 key-value map 数据结构，只能用于 KeyedStream（keyBy 算子处理之后）。 Flink 的 Keyed State
Flink keyed State
tom_fans的博客
06-16 325
Flink做sum, reduce等聚合的时候，我们一般直接使用Flink自带的sum, reduce来完成，有的需求需要自己写代码来完成。这其中的原理就是keyed state. 具体 可以参考： https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/stream/state/state.html 所以keyed state就是状态的意思，根据key做分区，每次计算的值要做记录，这样下次可以在这个 值的基础上做累加，.
flink sql设置并行度_Flink状态：Keyed State和Operator List State详细教程
weixin_39774556的博客
11-29 661
本文将重点跟大家讲解Flink的状态管理机制，包括状态要解决的问题、Flink几种不同类型的状态、Keyed State和Operator List State的使用方法等。相关代码参见的github：https://github.com/luweizheng/flink-tutorials。图片文字均为原创，转载请联系本专栏。为什么要管理状态有状态的计算是流处理框架要实现的重要功能，因为稍复杂的...
Flink学习17---容错机制（七）深入理解KeyedState，使用keyedState实现累加功能
zhuzuwei的博客
07-12 522
直接上代码如下： import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.restartstrategy.RestartStrategies; import org.apache.flink.api.java.tuple.Tuple; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.
Flink状态专题：keyed state和Operator state
weixin_30409849的博客
08-01 355
众所周知，flink是有状态的计算。所以学习flink不可不知状态。 正好最近公司有个需求，要用到flink的状态计算，需求是这样的，收集数据库新增的数据。 听起来很简单对吧？起初我也这么认为，现在发现，这尼玛就是变相的动态读取啊。 　　因为数据是一直在增加的，你需要记录这次收集的结果，用于下一次的运算，所以要用到状态计算。 　　废...
Flink中 的 Managed Keyed State 概念及示例代码
gym02的博客
04-26 367
Managed Keyed State Managed Keyed State接口提供不同类型的状态的访问，所有状态都限于当前输入元素的key。这意味着只能在KeyedStream上使用这种类型的状态。用户可以通过stream.keyBy(...)创建，flink内建了以下六种的state。 ValueState<T>: 使用场景：该状态主要用于存储单一状态值。 保留了一个可以更新...
flink ValueState怎么使用
06-12
在Flink中，使用ValueState来存储单个值的状态。下面是使用ValueState的步骤： 1. 在算子中定义ValueState： ```java private transient ValueState<Integer> countState; ``` 2. 初始化ValueState： ```java ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值