记一次flink中状态使用所遇问题

最新推荐文章于 2022-11-29 20:03:55 发布
最新推荐文章于 2022-11-29 20:03:55 发布
阅读量308 收藏 2
点赞数 2
分类专栏： 大数据 Flink 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44889538/article/details/116664562
版权
记一次flink状态使用所遇问题

在用flink做实时计算时，用到状态去存储一些中间数据或者结果数据，在本次项目中我要用到两个相同类型的状态，所以在做初始化时，以为描述器可以重用，所以只创建了一个描述器。

//定义描述器
val ttlDes = new ValueStateDescriptor[Boolean]("ttl", classOf[Boolean])
//初始化
ttlState = getRuntimeContext.getState[Boolean](ttlDes)
subjectState = getRuntimeContext.getState[Boolean](ttlDes)

但是在项目启动后，两个不同的业务模块，状态却互相干扰，最后发现它俩的值是一样的，所以不能用相同的描述器去初始化不同的状态！！！

数据游戏
关注
专栏目录
深度计算：大数据实战经验分享
程序员光剑
09-07 246
随着互联网、移动互联网、物联网等新型信息技术的发展，以及其相关产业的崛起，越来越多的人开始关注到如何从海量的数据中挖掘出有价值的信息，这是大数据时代的一个重要任务。而在实际工作当中，往往并不会像同行一样，遇上大数据分析的全面挑战，尤其是在某些关键环节中还存在很多挑战性的问题。比如，为了避免数据的泄露风险，在对原始数据进行处理过程中，需要满足大量的法律、监管和合规要求；为了保证数据质量，则需要提升数据采集、存储、处理、传输等环节的效率和成本；如何根据大数据进行快速有效的决策，也是一个需要解决的难题。
BAT 大厂Java 面试题集锦之核心篇附参考答案
热门推荐
程序员光剑
11-05 1万+
核心篇数据结构与算法网路:TCP/IP,HTTP操作系统, 文件, shell, CPU, IO, epoll, 非阻塞IO,进程/线程/协程,锁HashMap, Co...
Flink学习笔记（九）：状态管理
gentlewei的博客
02-11 209
模拟场景：有多个温度计去采集温度，数据格式：温度计id，采集时间，温度值 实现一个报警策略：两次温度差值超过阈值，就报警。 要实现这个逻辑，必须要使用到状态，来记录上一次的温度。其实有三种方法： process function：这个在上一篇笔记中已经做过演示，这就不再演示了 自定义RichFlatMapFunction：由于要使用状态，所以必须用Rich版的Function ...
FlinkSql中的时间语义和TTL
qq_42456324的博客
11-29 5120
专门用来保存当前的处理时间。在创建表的DDL中定义。
Flink getRuntimeContext().getMapState的时候发生了什么？
shengjk1的博客
12-09 3784
我们都知道，当使用 获取 Mapstate 的时候 public void open(Configuration cfg) { state = getRuntimeContext().getMapState( new MapStateDescriptor<>("sum", MyType.class, Long.class));...
【Flink系列】状态编程简介
qq_42875020的博客
11-07 966
【Flink系列】状态编程简介
Generator做为状态机与普通状态机的区别及实现
weixin_46816740的博客
09-07 1727
状态机(有限状态交替变化)有限状态自动机，每运行一次 改变一次状态 什么是状态机？ 以操作系统中的任务调度为例来说明什么是状态机。在操作系统的任务调度中经常见到状态机，其作用是根据任务的状态和当前资源条件来改变任务的状态。任务的状态和资源的条件就构成了一个状态机，参见下图： 普通状态机：要依赖于外部的变量，所以导致状态不安全 代码实现： var flag=true; function clock(){ if(flag){ console.log("开",flag)
Flink的容错机制
huahuaxiaoshao的博客
05-15 915
1 状态一致性       当在分布式系统中引入状态时，自然引入了一致性问题。一致性实际上是“正确性级别”的另一种说法，也就是说在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比，前者到底有多正确？举例来说，假设要对最近一小时登录的用户计数。在系.统经历故障之后，计数结果是多少？如果有偏差，是有漏掉的计数还是重复计数？ 1.1 基本概念       有状态的流处理，内部
算法面试基本问题
MARY197011111的博客
05-21 2860
一、Java 1.一个Java程序可以认为是一系列对象的集合，而这些对象通过调用彼此的方法来协同工作。下面简要介绍下类、对象、方法和实例变量的概念。 2.对象：对象是类的一个实例，有状态和行为。 3.类：类是一个模板，它描述一类对象的行为和状态。 4.方法：方法就是行为，一个类可以有很多方法。 5.实例变量：每个对象都有独特的实例变量，对象的状态由这些实例变量的值决定。 6.编写Java程序时，应注意以下几点： 大小写敏感 类名：每个单词的首字母应该大写 方法名：所有的方法名都应该以小写字母开头。如果方法
事务管理，锁与阻塞，JDBC,ODBC
LXRLLL134的博客
10-17 336
事务管理，锁与阻塞，JDBC,ODBC
C++状态模式
MusicMan
09-11 493
状态模式个人理解： 绑定状态-------->执行状态的某个动作代码 代码层面的话：状态基类：提供相关的base纯虚函数或者虚函数方法：子类实现各自的base方法-----》 另外调用的类，需要可以设置状态的方法：绑定对应的状态类，实现对应的方法=------ using namespace std; // 状态的接口类 class State { public: virtual void CurState() = 0; }; class EatState:public State { publ
Flink 上下文 context
qq_39159736的博客
10-16 1526
https://blog.csdn.net/jsjsjs1789/article/details/104044869/ Flink Context 总共可以分为三种：StreamExecutionEnvironment、RuntimeContext、函数专有的Context 我们先看第一类：StreamExecutionEnvironment StreamExecutionEnvironment 包括 LocalStreamEnvironment、RemoteStreamEnvironment、St
【flink学习笔记】【10】按键分区状态
qq_40273172的博客
04-18 1786
3. 值状态4.列表状态5.映射状态6.聚合状态7.状态生存时间TTL
Flink State TTL 详解
SmartSi
03-02 3173
Flink 1.13 版本 在某些场景下 Flink 用户状态一直在无限增长，一些用例需要能够自动清理旧的状态。例如，作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的 GROUP BY 语句。此外，目前开发人员需要自己完成 TTL 的临时实现，例如使用可能不节省存储空间的计时器服务。还有一个比较重要的点是一些法律法规也要求必须在有限时间内访问数据。 对于这些情况，旧版本的 Flink 并不能很好解决，因此 Apache Flink 1.6.0 版本引入了状态 TTL 特性。该特性可以让 Key.
Flink 状态管理详解（超全收藏）
ytp552200ytp的博客
05-16 4048
Flink 状态管理详解（超全收藏）
Flink TableAPI和SQL（十一）分组聚合
weixin_45417821的博客
05-07 1583
文章目录 SQL 中一般所说的聚合我们都很熟悉，主要是通过内置的一些聚合函数来实现的，比如SUM()、MAX()、MIN()、AVG()以及 COUNT()。它们的特点是对多条输入数据进行计算，得到一个唯一的值，属于“多对一”的转换。比如我们可以通过下面的代码计算输入数据的个数： Table eventCountTable = tableEnv.sqlQuery("select COUNT(*) from EventTable"); 而更多的情况下，我们可以通过 GROUP BY 子句来指定分组的键（ke
Flink中Table API和SQL（五）
JiaXingNashishua的博客
10-05 1864
那么就将在追加（Append）模式下运行，
flink 小技巧记录
Hello World
08-23 2202
一、背景 flink做etl、大宽表、统计过程中有些小细节可以尝试优化，这里简单记录下： 二、场景 2.1 允许延迟的数据同步。比如线上订单库binlog同步到查询库，或者简单处理进入分析库，让分析师直接查询明细. 如果吞吐要求大一点，可以开启小批处理。 # 这是SQL 参数,具体的根据业务自己调节 table.exec.mini-batch.enabled: 'true' table.exec.mini-batch.size...
flink中如何定义一个状态
最新发布
09-14
Apache Flink 中的状态定义是为了允许在事件驱动的流处理应用中持久化状态，这使得 Flink 能够支持复杂的状态管理操作。状态可以是内部的，如算子的用户定义的状态，也...这个状态在每个任务的生命周期中只初始化一次。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值