Flink/Blink 原理漫谈（三）state 有状态计算机制 详解

最新推荐文章于 2023-05-23 21:28:31 发布
最新推荐文章于 2023-05-23 21:28:31 发布
阅读量1.2k 收藏 7
点赞数 2
分类专栏： Flink/Blink 原理漫谈 文章标签： blink flink 大数据 实时大数据 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Foools/article/details/113541948
版权
本文深入探讨Flink/Blink的有状态计算机制，包括State存储实现（HeapStateBackend、FsStateBackend、RocksDBStateBackend、NiagaraStateBackend）和分类（OperatorState、KeyedState）。讲解了状态一致性（at-most-once、at-least-once、exactly-once）以及端到端一致性，强调了Flink在保证一致性的前提下实现低延迟和高吞吐。
摘要由CSDN通过智能技术生成

系列文章目录

Flink/Blink 原理漫谈（零）运行时的组件

Flink/Blink 原理漫谈（一）时间，watermark详解

Flink/Blink 原理漫谈（二）流表对偶性和distinct详解

Flink/Blink 原理漫谈（三）state 有状态计算机制 详解

Flink/Blink 原理漫谈（四）window机制详解

Flink/Blink 原理漫谈（五）流式计算的持续查询实现 详解

Flink/Blink 原理漫谈（六）容错机制（fault tolerance）详解

文章目录

最低0.47元/天 解锁文章
95-240-040-原理-State-简介
九师兄
07-01 607
1.视界 2. 概述 ​ Flink 支持有状态的操作和用户方法。例如，窗口操作使用状态维护不断追加的聚合数据，sink 操作使用状态保证一致性提供 exactly-once 语义。 ​ 大多数流应用是有状态的。很多operators会不断的访问并更新某中状态，例如一个window中收集了多少条记录，输入源中当前读到的位置，亦或是用户定义的特定operators的状态。无论是内置的operator还是用户定义的operators，Flink对待它们都是一致的。在这章我们会讨论Flink 支持的不同的状态类
Flink 状态计算
water drop的博客
03-15 2014
Flink 状态计算 一、概述 https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/stream/state/state.html Flink是⼀个基于状态计算的流计算服务。Flink将所有的状态分为两⼤类: keyed state与 operatorstate.所谓的keyed state指的是Flink底层会给每⼀个...
java常用设计模式之状态模式
xuedongabc的专栏
08-29 171
------------------------------ 状态模式(state) -------------------------------(1)State模式定义：不同的状态,不同的行为; 或者说,每个状态有着相应的行为.适用场合：State模式在实际使用中比较多,适合"状态的切换".因为我们经常会使用If elseif else 进行状态切换, 如果针对状态的这样判断切换反复出现,我...
Flink输出端保证之幂等写入和事务写入
weixin_43816721的博客
05-23 581
flink的输出端保证之幂等写入方式和事务写入
有状态计算和无状态计算
weixin_59295776的博客
11-30 988
什么是有状态计算，什么是无状态计算？在数据的流处理中他们的区别是什么？ 一般来说就是计算分为无状态和有状态两种情况。 无状态计算会观察每个独立的事件，并且会在最后一个时间出结果，例如一些报警和监控，一直观察每个事件，当触发警报的事件来临就会触发警告。 有状态的计算就会基于多个事件来输出结果，比如说计算过去一个小时的平均温度等等。 ...
Flink/Blink 原理漫谈（四）window机制详解
Foools的博客
02-02 1102
系列文章目录 文章目录系列文章目录window机制Group by windowTumbling window 滑动窗口Hop window 滑动窗口Session window 会话窗口OVER WINDOWROWS OVER WindowRange over window window机制 Blink-1.x版本的window内容 有一些比较基本的group by概念我觉得不需要陈述了，主要需要介绍的是两个类型：group by window和over window。 Group by windo
Flink/Blink 原理漫谈（一）时间，watermark详解
Foools的博客
02-02 1410
系列文章目录 文章目录系列文章目录一、 时间二、 watermark概念一个例子多流watermarks处理总结 一、 时间 一共有三种时间：event time，ingestion time，processing time Event time：事件发生的时间 Ingestion time：数据进入flink的时间 Processing time：执行操作算子的本地系统时间 Watermark就是基于Event Time产生的，Blink系统正是利用Event Time和Watermark机制处理
Flink/Blink 原理漫谈（五）流式计算的持续查询实现 详解
Foools的博客
02-02 1330
系列文章目录 文章目录系列文章目录持续查询静态查询和动态查询的关系持续查询的实现增量计算：APPEND ONLY场景UPDATE 场景无PK的Append Only 场景有PK的Update 场景Blink store双流join中遇到的append only的问题Blink Sink 持续查询 静态查询和动态查询的关系 传统数据库表我们这里叫Static table，是指在查询的那一刻数据库表的内容不再变化了，查询进行一次计算完成之后表的变化也与本次查询无关了，我们将在Static Table 上面
记使用flink1.11.3 org/apache/flink/api/common/state/CheckpointListener
biuubi的博客
11-11 2814
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/flink/api/common/state/CheckpointListener 使用的mysql-cdc的依赖版本太高了，降低版本就好了，真烦死了 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins
flink中 有状态计算（statefu）和无状态计算（stateless）的区别
Foools的博客
01-02 2166
一、有状态计算，无状态计算 apache flink来说，是支持有状态计算的。 无状态计算可以类比一下select操作，来一条，操作一条，数据不用留在系统里面。 有状态计算可以类比一下count，sum操作，这时候就需要缓存之前的数据，才可以实现，这样的计算就是有状态的。 ...
Flink使用指南：状态计算完全搞懂了，你就是大佬！
徐腾瑞的博客
07-05 2353
系列文章目录 Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！ Flink使用指南: Kafka流表关联HBase维度表 Flink使用指南: Watermark新版本使用 Flink使用指南: Flink SQL自定义函数 目录 系列文章目录 前言 一、Checkpoint机制 如何开启Checkpoint 二、Keyed State 和 Operator State 原始状态和托管状态 如何使用Managed Keyed State 状态的生命周期（TTL）.
理解stateful computation有状态计算
漫步量化
03-29 360
Overview Streaming computation can be either stateless or stateful. A stateless program looks at each individual event and creates some output based on that last event; A stateful program creates output based on multiple events taken together. stateful 用..
站在源码的角度探究React中的状态state
Amelian的博客
11-13 1645
1.类组件中的state setState的用法 React项目中UI改变来源于state的改变，类组件中setState是更新组件，渲染视图的主要方式 基本用法
Flink学习笔记-阿里云Blink
fengbonu的博客
10-13 1214
因为项目环境限制，流处理引擎只能使用阿里云 Blink3.3.0 版本，翻阅阿里云官网 Blink 和 GitHub Flink 的Blink分支资料，成功构建并运行 Blink 的 DataStream 和 Table，记录在此作为笔记。 ## 一、说明 ### 1、据阿里云官网资料显示，Blink已经停售 https://help.aliyun.com/document_detail/168049.html ![](D:\hejiuwei\10-学习笔记\image\Blink.png) ##
一个 Blink 小白的成长之路
阿里云云栖号
12-30 1524
写在前面 写过blink sql的同学应该都有体会，明明写的时候就很顺滑，小手一抖，洋洋洒洒三百行代码，一气呵成。结果跑的时候，吞吐量就是上不去。导致数据延迟高，消息严重积压，被业务方疯狂吐槽。这时候，老鸟就会告诉你，同学，该优化优化你的代码了，再丢过来一个链接，然后留下一脸懵逼的你。笔者就是这么过来的，希望本文能帮助到跟我有过同样困惑，现在还一筹莫展的同学。 背景故事 先说一下相关背景吧，...
实现flink自定义幂等写入ClickHouse，并封装成通用工具类
不吃鱼的cat的博客
07-25 1796
** 实现flink自定义幂等写入ClickHouse，并封装成通用工具类 ** ClickHouse建表语句（按user分区，一个用户一个区，重复写入，只会改变url和timestamp，user的值不会发生改变，通过调整order by 后的字段，可以调整幂等写入时值不会发生改变的字段） create table Event( user String , url String , timestamp UInt64 ) engine =
Blink学习（三）：定义运行环境
Path
07-21 835
1 StreamExecutionEnvironment StreamExecutionEnvironment是对流处理引擎运行环境的抽象，可以通过调用它的接口来对运行环境进行配置常用配置如下： final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.enab...
大数据需要学习哪些知识？
.
11-11 781
学习一项技术最重要的是要理解它能解决什么问题，那么学习大数据可以解决什么问题呢？ 一、大数据可以解决什么问题？ 场景一：电商网站要把过去一个月或一年卖的好的商品放到首页推荐给用户。 问题1：过去一个月或者一年的订单数量是巨大的，如何存储？ 问题2：假设已经找到存储的方案了，那么大量的订单如何计算？ 场景二：天气预报需要根据过去一年或者十年的天气状况预测明天或者下个周的天气状况。 问题1：过...
Spark Streaming有状态计算的实际问题
iteye_4143的博客
04-08 640
1.背景 spark streaming有状态计算（如UV）通常采用DStream.updateStateByKey（实际是PairDStreamFunctions增强到DStream的），具体实现网上讲的很多。spark streaming是持续计算，有状态时不能通过简单的DAG/lineage容错，所以必须设置checkpoint（否则Job启动会报错） checkpoint会持久化当...
org/apache/flink/api/common/state/CheckpointListener
最新发布
07-29
`org/apache/flink/api/common/state/CheckpointListener` 是 Flink 的一个接口，用于处理检查点相关的事件。 Flink 是一个分布式流处理框架，它支持将数据流转换为有状态的流处理任务。在处理大规模流数据时，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值