Flink/Blink 原理漫谈（三）state 有状态计算机制 详解

最新推荐文章于 2024-02-18 00:49:10 发布
最新推荐文章于 2024-02-18 00:49:10 发布
阅读量1.1k 收藏 7
点赞数 2
分类专栏： Flink/Blink 原理漫谈 文章标签： blink flink 大数据 实时大数据 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Foools/article/details/113541948
版权
本文深入探讨Flink/Blink的有状态计算机制，包括State存储实现（HeapStateBackend、FsStateBackend、RocksDBStateBackend、NiagaraStateBackend）和分类（OperatorState、KeyedState）。讲解了状态一致性（at-most-once、at-least-once、exactly-once）以及端到端一致性，强调了Flink在保证一致性的前提下实现低延迟和高吞吐。
摘要由CSDN通过智能技术生成

系列文章目录

Flink/Blink 原理漫谈（零）运行时的组件

Flink/Blink 原理漫谈（一）时间，watermark详解

Flink/Blink 原理漫谈（二）流表对偶性和distinct详解

Flink/Blink 原理漫谈（三）state 有状态计算机制 详解

Flink/Blink 原理漫谈（四）window机制详解

Flink/Blink 原理漫谈（五）流式计算的持续查询实现 详解

Flink/Blink 原理漫谈（六）容错机制（fault tolerance）详解

文章目录

最低0.47元/天 解锁文章
Foools
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
95-240-040-原理-State-简介
九师兄
07-01 587
1.视界 2. 概述 ​ Flink 支持有状态的操作和用户方法。例如，窗口操作使用状态维护不断追加的聚合数据，sink 操作使用状态保证一致性提供 exactly-once 语义。 ​ 大多数流应用是有状态的。很多operators会不断的访问并更新某中状态，例如一个window中收集了多少条记录，输入源中当前读到的位置，亦或是用户定义的特定operators的状态。无论是内置的operator还是用户定义的operators，Flink对待它们都是一致的。在这章我们会讨论Flink 支持的不同的状态类
java常用设计模式之状态模式
xuedongabc的专栏
08-29 143
------------------------------ 状态模式(state) -------------------------------(1)State模式定义：不同的状态,不同的行为; 或者说,每个状态有着相应的行为.适用场合：State模式在实际使用中比较多,适合"状态的切换".因为我们经常会使用If elseif else 进行状态切换, 如果针对状态的这样判断切换反复出现,我...
Flink 状态计算
water drop的博客
03-15 1953
Flink 状态计算 一、概述 https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/stream/state/state.html Flink是⼀个基于状态计算的流计算服务。Flink将所有的状态分为两⼤类: keyed state与 operatorstate.所谓的keyed state指的是Flink底层会给每⼀个...
Flink输出端保证之幂等写入和事务写入
weixin_43816721的博客
05-23 483
flink的输出端保证之幂等写入方式和事务写入
有状态计算和无状态计算
weixin_59295776的博客
11-30 934
什么是有状态计算，什么是无状态计算？在数据的流处理中他们的区别是什么？ 一般来说就是计算分为无状态和有状态两种情况。 无状态计算会观察每个独立的事件，并且会在最后一个时间出结果，例如一些报警和监控，一直观察每个事件，当触发警报的事件来临就会触发警告。 有状态的计算就会基于多个事件来输出结果，比如说计算过去一个小时的平均温度等等。 ...
Flink中基于State的有状态计算开发方法
Deepexi_Date的博客
03-16 2393
文：王东阳 前言 状态在Flink中叫作State，用来保存中间计算结果或者缓存数据。根据是否需要保存中间结果，分为无状态计算和有状态计算。对于流计算而言，事件持续不断地产生，如果每次计算都是相互独立的，不依赖于上下游的事件，则是无状态计算。如果计算需要依赖于之前或者后续的事件，则是有状态计算。 在Flink中根据数据集是否根据Key进行分区，将状态分为Keyed State和Operator State（Non-keyed State）两种类型 ，本文主要介绍Keyed State，后续文章会介绍Oper
Flink/Blink 原理漫谈（四）window机制详解
Foools的博客
02-02 1047
系列文章目录 文章目录系列文章目录window机制Group by windowTumbling window 滑动窗口Hop window 滑动窗口Session window 会话窗口OVER WINDOWROWS OVER WindowRange over window window机制 Blink-1.x版本的window内容 有一些比较基本的group by概念我觉得不需要陈述了，主要需要介绍的是两个类型：group by window和over window。 Group by windo
Flink/Blink 原理漫谈（一）时间，watermark详解
Foools的博客
02-02 1354
系列文章目录 文章目录系列文章目录一、 时间二、 watermark概念一个例子多流watermarks处理总结 一、 时间 一共有三种时间：event time，ingestion time，processing time Event time：事件发生的时间 Ingestion time：数据进入flink的时间 Processing time：执行操作算子的本地系统时间 Watermark就是基于Event Time产生的，Blink系统正是利用Event Time和Watermark机制处理
Flink/Blink 原理漫谈（五）流式计算的持续查询实现 详解
Foools的博客
02-02 1269
系列文章目录 文章目录系列文章目录持续查询静态查询和动态查询的关系持续查询的实现增量计算：APPEND ONLY场景UPDATE 场景无PK的Append Only 场景有PK的Update 场景Blink store双流join中遇到的append only的问题Blink Sink 持续查询 静态查询和动态查询的关系 传统数据库表我们这里叫Static table，是指在查询的那一刻数据库表的内容不再变化了，查询进行一次计算完成之后表的变化也与本次查询无关了，我们将在Static Table 上面
记使用flink1.11.3 org/apache/flink/api/common/state/CheckpointListener
biuubi的博客
11-11 2754
Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/flink/api/common/state/CheckpointListener 使用的mysql-cdc的依赖版本太高了，降低版本就好了，真烦死了 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins
flink中 有状态计算（statefu）和无状态计算（stateless）的区别
Foools的博客
01-02 2073
一、有状态计算，无状态计算 apache flink来说，是支持有状态计算的。 无状态计算可以类比一下select操作，来一条，操作一条，数据不用留在系统里面。 有状态计算可以类比一下count，sum操作，这时候就需要缓存之前的数据，才可以实现，这样的计算就是有状态的。 ...
Flink使用指南：状态计算完全搞懂了，你就是大佬！
徐腾瑞的博客
07-05 2138
系列文章目录 Flink使用指南: 面试必问内存管理模型，进大厂一定要知道！ Flink使用指南: Kafka流表关联HBase维度表 Flink使用指南: Watermark新版本使用 Flink使用指南: Flink SQL自定义函数 目录 系列文章目录 前言 一、Checkpoint机制 如何开启Checkpoint 二、Keyed State 和 Operator State 原始状态和托管状态 如何使用Managed Keyed State 状态的生命周期（TTL）.
理解stateful computation有状态计算
漫步量化
03-29 316
Overview Streaming computation can be either stateless or stateful. A stateless program looks at each individual event and creates some output based on that last event; A stateful program creates output based on multiple events taken together. stateful 用..
站在源码的角度探究React中的状态state
Amelian的博客
11-13 1612
1.类组件中的state setState的用法 React项目中UI改变来源于state的改变，类组件中setState是更新组件，渲染视图的主要方式 基本用法
Flink/Blink 原理漫谈（零）运行时的组件
Foools的博客
02-02 5833
系列文章目录 文章目录系列文章目录前言 谈谈blink和flinkBlink原理漫谈零、 Flink运行时的组件JobManagerTaskManagerResourceManagerDispatcher任务提交流程 前言 谈谈blink和flink 在实习时候接触到了flink，这玩意实现了大促期间的实时大数据更新，这对我们这种只写过python，c++啥玩意的来说闻所未闻，所以了解了一下flink的原理，并且尝试使用了公司的blink，在学习时间之余，整理了所有的学习笔记，目的也是分享学习。 A
Flink的Blink计划：深度解析
最新发布
程序员光剑
02-18 209
1. 背景介绍 1.1 Apache Flink简介 Apache Flink是一个开源的流处理框架，用于实时数据流处理和批处理应用程序。Flink具有高吞吐量、低延迟和强大的状态管理功能，使其成为大数据处理的理想选择。Flink的核心是一个分布式流数据处理引擎，它可以在各种环境中运行，
Flink学习笔记-阿里云Blink
fengbonu的博客
10-13 1158
因为项目环境限制，流处理引擎只能使用阿里云 Blink3.3.0 版本，翻阅阿里云官网 Blink 和 GitHub Flink 的Blink分支资料，成功构建并运行 Blink 的 DataStream 和 Table，记录在此作为笔记。 ## 一、说明 ### 1、据阿里云官网资料显示，Blink已经停售 https://help.aliyun.com/document_detail/168049.html ![](D:\hejiuwei\10-学习笔记\image\Blink.png) ##
一个 Blink 小白的成长之路
阿里云云栖号
12-30 1395
写在前面 写过blink sql的同学应该都有体会，明明写的时候就很顺滑，小手一抖，洋洋洒洒三百行代码，一气呵成。结果跑的时候，吞吐量就是上不去。导致数据延迟高，消息严重积压，被业务方疯狂吐槽。这时候，老鸟就会告诉你，同学，该优化优化你的代码了，再丢过来一个链接，然后留下一脸懵逼的你。笔者就是这么过来的，希望本文能帮助到跟我有过同样困惑，现在还一筹莫展的同学。 背景故事 先说一下相关背景吧，...
org/apache/flink/api/common/state/CheckpointListener
07-29
`org/apache/flink/api/common/state/CheckpointListener` 是 Flink 的一个接口，用于处理检查点相关的事件。 Flink 是一个分布式流处理框架，它支持将数据流转换为有状态的流处理任务。在处理大规模流数据时，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值