大话Flink之七-Flink的状态管理

最新推荐文章于 2024-06-05 14:07:01 发布
最新推荐文章于 2024-06-05 14:07:01 发布
阅读量230 收藏
点赞数 1
分类专栏： Flink学习笔记（java版） 文章标签： flink java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/youhaitao_do/article/details/111406563
版权

目录

Flink 状态管理

1 Flink 中的状态

 2 算子状态（Operator State）

2.1 算子状态数据结构

3 键控状态(Keyed State)

3.1键控状态数据结构

3.2 键控状态的使用

Case

4 状态后端(State Backends)

4.1 选择一个状态后端

Flink 状态管理

1 Flink 中的状态

  • 由一个任务维护，并且用来计算某个结果的所有数据，都叫做这个任务的状态

  • 可以认为状态就是一个本地变量，可以被任务的业务逻辑访问

  • Flink 会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑

  • 在 Flink 中，状态始终与特定算子相关联

  • 为了使运行时的 Flink 了解算子的状态，算子需要预先注册其状态

    ➢ 总的说来，有两种类型的状态:

  • 算子状态(Operator State)

    • 算子状态的作用范围限定为算子任务

  • 键控状态(Keyed State)

    • 根据输入数据流中定义的键(key)来维护和访问

 2 算子状态（Operator State）

• 算子状态的作用范围限定为算子任务，由同一并行任务所处理的所有数据都 可以访问到相同的状态

• 状态对于同一子任务而言是共享的
• 算子状态不能由相同或不同算子的另一个子任务访问

2.1 算子状态数据结构

➢ 列表状态(List state)
    • 将状态表示为一组数据的列表

➢ 联合列表状态(Union list state)
   • 也将状态表示为数据的列表。它与常规列表状态的区别在于，在发生故障时，或者从保存点(savepoint)启动应用程序时如何恢复

➢ 广播状态(Broadcast state)
   • 如果一个算子有多项任务，而它的每项任务状态又都相同，那么这种特殊情况最适合应用广播状态。

package com.dongda.state;

import com.dongda.beans.SensorReading;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.checkpoint.ListCheckpointed;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import java.util.Collections;
import java.util.List;

public class StateTest1_OperatorState {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);//为了方便观察打印出来的结果，将全局并行度设置为1

        //从文件里面读取数据
        DataStream<String> inputStream = env.readTextFile("/Users/haitaoyou/developer/flink/src/main/resources/sensor.txt");

        //lamda表达式写法
        DataStream<SensorReading> dataStream = inputStream.map(line -> {
            String[] fields = line.split(",");
            return new SensorReading(fields[0], new Long(fields[1]), new Double(fields[2]));
        });
        //定义一个有状态的map操作，统计当前分区数据个数
        SingleOutputStreamOperator<Integer> resultStream = dataStream.map(new MyCountMapper());

        resultStream.print();
        env.execute();
    }
    //自定义MapFunction
    private static class MyCountMapper implements MapFunction<SensorReading,Integer>, ListCheckpointed<Integer> {
        //定义一个本地变量，作为算子状态
        private Integer count = 0;
        @Override
        public Integer map(SensorReading sensorReading) throws Exception {
            count++;
            return count;
        }

        @Override
        public List<Integer> snapshotState(long l, long l1) throws Exception {
            return Collections.singletonList(count);
        }

        @Override
        public void restoreState(List<Integer> list) throws Exception {
            for (Integer num:list){
                count+=num;
            }
        }
    }
}

 算子状态主要对当前分区任务的状态去做一个维护和访问，所以他有一个特点就是key对他没有关系，所以当前针对不同的key,例如我们的sensor_id，针对不同的id要去做一个聚合统计、要去得到他的一个状态，算子状态就不太合适。
 

3 键控状态(Keyed State)

1）键控状态是根据输入数据流中定义的键(key)来维护和访问的

2）Flink 为每个 key 维护一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护和处理这个 key 对应的状态

3）当任务处理一条数据时，它会自动将状态的访问范围限定为当前数据的 key

3.1键控状态数据结构

➢ 值状态(Value state)
   • 将状态表示为单个的值

➢ 列表状态(List state)
   • 将状态表示为一组数据的列表

➢ 映射状态(Map state)
   • 将状态表示为一组 Key-Value 对

➢ 聚合状态(Reducing state & Aggregating State)

   • 将状态表示为一个用于聚合操作的列表

3.2 键控状态的使用

实例代码如下：

package com.dongda.state;

import com.dongda.beans.SensorReading;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.api.common.state.ListState;
import org.apache.flink.api.common.state.ListStateDescriptor;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class StateTest2_KeyedState {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);//为了方便观察打印出来的结果，将全局并行度设置为1

        //从文件里面读取数据
        DataStream<String> inputStream = env.readTextFile("/Users/haitaoyou/developer/flink/src/main/resources/sensor.txt");

        //lamda表达式写法
        DataStream<SensorReading> dataStream = inputStream.map(line -> {
            String[] fields = line.split(",");
            return new SensorReading(fields[0], new Long(fields[1]), new Double(fields[2]));
        });
        //定义一个有状态的map操作，统计当前sensor个数
        SingleOutputStreamOperator<Integer> resultStream = dataStream.keyBy("id")
                .map(new MyKeyCountMapper());


        resultStream.print();
        env.execute();
    }

    //自定义RichMapFunction
    private static class MyKeyCountMapper extends RichMapFunction<SensorReading,Integer> {
        private ValueState<Integer> keyCountState;
        //其他类型状态的声明
        private ListState<String> myListState;

        @Override
        public void open(Configuration parameters) throws Exception {
            keyCountState=getRuntimeContext().getState(new ValueStateDescriptor<Integer>("key-count",Integer.class,0));
            myListState=getRuntimeContext().getListState(new ListStateDescriptor<String>("my-list",String.class));
        }

        @Override
        public Integer map(SensorReading sensorReading) throws Exception {
            Integer count = keyCountState.value();
            count++;
            keyCountState.update(count);

            //其他状态API调用
            //listState
            for (String str:myListState.get()){
                System.out.println(str);
            }
            return count;
            
        }
    }
}

Case

我们利用Keyed State，实现这样一个需求：检测传感器的温度值，如果连续的两个温度差值超过10度，就输出报警。

package com.dongda.state;

import com.dongda.beans.SensorReading;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.functions.RichFlatMapFunction;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;


public class StateTest3_KeyedStateApplicationCase {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        //从文件里面读取数据
        DataStreamSource<String> inputStream = env.readTextFile("/Users/haitaoyou/developer/flink/src/main/resources/sensor.txt");

        //转换成sensorReading类型
        SingleOutputStreamOperator<SensorReading> dataStream = inputStream.map(new MapFunction<String, SensorReading>() {
            @Override
            public SensorReading map(String s) throws Exception {
                String[] fields = s.split(",");
                return new SensorReading(fields[0],new Long(fields[1]),new Double(fields[2]));
            }
        });

        //按照id进行分组,然后进行faltMap操作，检测温度跳变，输出报警
        SingleOutputStreamOperator<Tuple3<String, Double, Double>> resultStream = dataStream.keyBy("id")
                .flatMap(new MyFaltMap(10.0));

        resultStream.print();
        env.execute();
    }

    private static class MyFaltMap extends RichFlatMapFunction<SensorReading, Tuple3<String,Double,Double>> {
        //私有属性，温度跳变阀值
        private Double temp;
        //定义ValueState，上一次的温度值
        private ValueState<Double> valueState;

        @Override
        public void open(Configuration parameters) throws Exception {
            valueState=getRuntimeContext().getState(new ValueStateDescriptor<Double>("last-temp",Double.class));//描述器
        }

        @Override
        public void close() throws Exception {
            valueState.clear();
        }

        public MyFaltMap(double temp) {
            this.temp=temp;
        }

        @Override
        public void flatMap(SensorReading sensorReading, Collector<Tuple3<String, Double, Double>> collector) throws Exception {
            temp=sensorReading.getTemperature();
            //如果状态值不为null,那么就判断两次的温度值
            if (valueState.value()!=null){
                Double diff=Math.abs(temp-valueState.value());
                if (diff>=10){
                    collector.collect(new Tuple3<>(sensorReading.getId(),valueState.value(),temp));
                }
            }
            //更新状态
            valueState.update(temp);
        }
    }
}

4 状态后端(State Backends)

• 每传入一条数据，有状态的算子任务都会读取和更新状态
• 由于有效的状态访问对于处理数据的低延迟至关重要，因此每个并行任务都会在本地维护其状态，以确保快速的状态访问
• 状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就叫做状态后端(state backend)
• 状态后端主要负责两件事:本地的状态管理，以及将检查点(checkpoint)状态写入远程存储

4.1 选择一个状态后端

➢ MemoryStateBackend

  • 内存级的状态后端，会将键控状态作为内存中的对象进行管理，将它们存储在 TaskManager 的 JVM 堆上，而将 checkpoint 存储在 JobManager 的内存 中

  • 特点:快速、低延迟，但不稳定 

 ➢ FsStateBackend

  • 将 checkpoint 存到远程的持久化文件系统(FileSystem)上，而对于本地状 态，跟 MemoryStateBackend 一样，也会存在 TaskManager 的 JVM 堆上

  • 同时拥有内存级的本地访问速度，和更好的容错保证

➢ RocksDBStateBackend

• 将所有状态序列化后，存入本地的 RocksDB 中存储。

 

求学旅途
关注
专栏目录
C++ 状态模式
青春不老，奋斗不止！
11-27 7309
状态模式（State Pattern）是行为设计模式之一。当对象根据其内部状态改变其行为时，将使用状态设计模式。
C++状态模式
MusicMan
09-11 500
状态模式个人理解： 绑定状态-------->执行状态的某个动作代码 代码层面的话：状态基类：提供相关的base纯虚函数或者虚函数方法：子类实现各自的base方法-----》 另外调用的类，需要可以设置状态的方法：绑定对应的状态类，实现对应的方法=------ using namespace std; // 状态的接口类 class State { public: virtual void CurState() = 0; }; class EatState:public State { publ
【C++】状态模式
编程记录，亲测有效
10-15 4328
状态模式也是设计模式的一种，这种设计模式思想不复杂，就是实现起来的代码有点复杂。主要出现在类传递参数上，尤其是C++这种不能直接类间互相调用都语言，实现状态模式更难，当然，一切设计模式都是为了更简短的主函数。 状态模式是当一个对象的内在状态改变时允许改变其行为，这个对象看起来像是改变了其类，主要解决的是当控制一个对象状态转换的条件表达式过于复杂时的情况。把状态的判断逻辑转移到表示不同的一系列类当
状态模式（C++）
先锋小牛
05-08 428
简述当一个对象内在状态改变时，允许改变其行为，这个对象看起来像改变了其类，单控制一个对象的状态转换的条件表达式过于复杂时，把状态的判断逻辑转移，到表示不同状态的一系列类当中，可以把复杂的判断逻辑简化场景说明状态模式中，不同状态对象表现的也不同。就像变色龙一样，它随自己心情的变化会变成不同的颜色，它心情平静时为蓝色，心情兴奋时就变成了黄色UML类图对象说明State, 抽象的状态类CalmState...
c++状态模式
12-21
C++状态模式
大话 Python：python 操作 excel 系列 -- pandas 读取、分析、保存(2)
2401_84572677的博客
05-06 667
关注即可领取PPT模板、简历模板、行业经典书籍PDF。：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。
非科班转行大数据开发--最详细的学习路线
李旭的博客
03-31 1669
大数据开发学习之路分为三个阶段 主要是根据面试重点，分成阶段性学习。 第一阶段：Java部分 Java基础、JVM、并发、数据库、缓存、设计模式、计算机网络、操作系统、Linux第二阶段：大数据框架 MapReduce、YARN、HDFS、HBase、Hive、Zookeeper、Spark、Storm、Flink、Kafka第三阶段：面试就业 封装项目、面经、简历、面试流程、软素质...
Java 学习路线大全，再也不用迷路啦（持续更新）
腾讯全栈-ITCJF
10-14 2824
路线特点 最新，完整一条龙，从入门到入土（⭐ 表示推荐学习） 给出目标、学习建议、关键知识点、最优资源以及各类资源推荐（视频、书籍、文档、项目、工具等） 划分阶段、更有计划，且在最后给出持续学习的方向、探索 Java 程序员发展的无限可能 前言 首先呢，我们要了解 Java 的应用场景和就业方向，看看和自己的学习目的是否一致，目前，Java 的岗位需求多，是后台开发的主流编程语言，功能强大，还是很值得学习的。 阶段 1：Java 入门 目标 培养兴趣、快速上手 前期准备 准备好一款在线、随时随地
大数据学习之路
BigData98的博客
03-22 4735
万字长文，纯干货，建议收藏阅读。 大纲： 一、开篇致辞 二、为什么要学大数据 三、学习大数据门槛 四、学习路线 & 独家干货（学生、在职、零基础） 五、推荐书单 六、Q & A 一、开篇致辞 我今年大四，大二的时候先后在厦门的两家小公司实习 Java，大三的时候在 Apche Kylin 的贡献团队 Kyligence 实习，现在在一家西班牙集团就职大数据开发。 首先感谢我大二的第...
企业级大数据平台建设参考 | 淘宝&滴滴&美团&360&快手&京东
微信搜：import_bigdata，大数据领域硬核原创作者
01-16 817
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源本文结合小编自己的经验并且参考了淘宝&滴滴&美团&360&快手等各个大厂大数据平台建设的思路。在...
C++状态模式（State）
最新发布
m0_72877724的博客
06-05 215
首先，我们定义一个表示电梯状态的接口，该接口包含电梯在不同状态下的行为方法。// 电梯状态接口public:// 前向声明然后，我们定义具体的状态类，例如和，每个状态类实现接口。public:private:public:private:public:private:接下来，我们定义一个电梯上下文类，它持有当前状态的实例，并提供改变状态的方法。
[C++]状态模式
就是那个党伟
04-12 528
在状态模式（State Pattern）中，类的行为是基于它的状态改变的。这种类型的设计模式属于行为型模式。 在状态模式中，我们创建表示各种状态的对象和一个行为随着状态对象改变而改变的 context 对象。 C++代码如下： // 此文件包含 "main" 函数。程序执行将在此处开始并结束。 // // 参考大话设计模式 #include <iostream> usin...
C++之状态(State)模式
lovely_yoshino的博客
07-18 5476
0. 简介 状态模式是一种行为设计模式， 让你能在一个对象的内部状态变化时改变其行为， 使其看上去就像改变了自身所属的类一样。这其实就有点类似算法中的有限状态机的形式。 其主要思想是程序在任意时刻仅可处于几种有限的状态中。 在任何一个特定状态中， 程序的行为都不相同， 且可瞬间从一个状态切换到另一个状态。 不过， 根据当前状态， 程序可能会切换到另外一种状态， 也可能会保持当前状态不变。 这些数量有限且预先定义的状态切换规则被称为转移。 1. 状态模式示意图 策略模式和状态模式两个模式很相似，区别就在于策
C++实现状态模式
Coulnaut的博客
06-04 527
下面我们开始一个新的类型系列模型。 文章目录1. 情景与意图2. 状态模式3. 文件的状态4. 总结 1. 情景与意图   一个对象可以有很多的状态，不同的状态，对象就会有不同的行为。比如文件如果是只读的状态，那么就只能读不能写入，如果是只写的，那就不能读，再或者是读写的。在对象的状态改变时，其可以支持的行为也应该改变。   如何实现这个设计——状态模式。 2. 状态模式   允许对象在内部状态发生改变时改变它的行为，对象看起来好像修改了它的类。   其实就是说，不同状态不同行为切换。行为可以是表现形式.
requests 状态码
weixin_30530339的博客
06-23 502
# 信息性状态码 100: ('continue',), 101: ('switching_protocols',), 102: ('processing',), 103: ('checkpoint',), 122: ('uri_too_long', 'request_uri_too_long'), # 成功状态码 200: ('ok', 'okay', 'all_ok', 'a...
flink通过flink-connector-tidb-cdc使用streamapi方式连接tidb
04-04
Flink通过Flink-connector-tidb-cdc连接TiDB的过程如下： 1. 准备工作 在开始使用Flink-connector-tidb-cdc之前，需要准备以下内容： - TiDB实例 - TiCDC组件 - Flink-connector-tidb-cdc依赖的jar包 2. 创建Flink程序 创建Flink程序，导入Flink-connector-tidb-cdc依赖的jar包，然后使用Flink的Stream API编写代码。 3. 配置TiCDC 将TiCDC配置为启用TiDB集群的CDC功能，并将Flink的IP地址和端口号配置为CDC的下游组件。 4. 启动Flink程序 启动Flink程序，Flink-connector-tidb-cdc将从TiCDC中获取数据，并将其转换为Flink数据流。 5. 处理数据 使用Flink的Stream API对数据进行处理，例如过滤、转换、聚合等操作。 6. 将数据写回TiDB 通过Flink-connector-tidb-cdc将处理后的数据写回TiDB。 总结： Flink通过Flink-connector-tidb-cdc连接TiDB的过程相对简单，只需要准备好TiDB实例、TiCDC组件和Flink-connector-tidb-cdc依赖的jar包，然后使用Flink的Stream API进行编写即可。通过这种方式，可以实现实时的数据处理和写入TiDB。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值