【Flink入门（6）】Flink的状态管理（基础）

已于 2022-06-14 21:03:06 修改
阅读量966 收藏
点赞数
分类专栏： flink入门 文章标签： flink 状态管理 键控状态 Keyed State 状态后端
于 2022-06-08 15:25:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/C_chuxin/article/details/125185364
版权
本文深入介绍了Apache Flink的状态管理，包括OperatorState和KeyedState的基础概念、数据结构及代码示例。通过具体的应用场景展示了如何利用这两种状态进行数据处理，同时探讨了状态后端StateBackends的选择及其在横向扩展时的影响。
摘要由CSDN通过智能技术生成

【时间】2022.06.08 周三 

【题目】【Flink入门（6）】Flink的状态管理（基础）

本专栏是尚硅谷Flink课程的笔记与思维导图。

目录

引言

一、状态（state）概述

二、算子状态 Operator State

2.1 概述

2.2 数据结构

2.3 代码例子

三、键控状态 Keyed State

3.1 概述

3.2 数据结构

3.3 代码例子

3.4 两种状态的对比

3.5 横向扩展问题（并行度改变）

四、状态后端 State Backends

4.1 概述

4.2 不同的状态后端

4.3 代码示例

总思维导图

参考

引言

本节主要介绍flink中的状态管理（基础），包括：

  • 算子状态 Operator State和 键控状态 Keyed State的概述与使用
  • 设置状态后端 State Backends

一、状态（state）概述

 

二、算子状态 Operator State

2.1 概述

  

2.2 数据结构

2.3 代码例子

代码： 

package apitest.state;

import apitest.beans.SensorReading;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.checkpoint.ListCheckpointed;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

import java.util.Collections;
import java.util.List;

public class StateTest1_OperatorState {

  public static void main(String[] args) throws Exception {
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    env.setParallelism(1);

    // socket文本流
    DataStream<String> inputStream = env.socketTextStream("localhost", 7777);

    // 转换成SensorReading类型
    DataStream<SensorReading> dataStream = inputStream.map(line -> {
      String[] fields = line.split(",");
      return new SensorReading(fields[0], new Long(fields[1]), new Double(fields[2]));
    });

    // 定义一个有状态的map操作，统计当前分区数据个数
    SingleOutputStreamOperator<Integer> resultStream = dataStream.map(new MyCountMapper());

    resultStream.print();

    env.execute();
  }

  // 自定义MapFunction
  public static class MyCountMapper implements MapFunction<SensorReading, Integer>, ListCheckpointed<Integer> {
    // 定义一个本地变量，作为算子状态
    private Integer count = 0;

    @Override
    public Integer map(SensorReading value) throws Exception {
      count++;
      return count;
    }

    @Override
    public List<Integer> snapshotState(long checkpointId, long timestamp) throws Exception {//存储状态
      return Collections.singletonList(count);
    }

    @Override
    public void restoreState(List<Integer> state) throws Exception {//恢复状态
      for (Integer num : state) {
        count += num;
      }
    }
  }
}

 输入(本地开启socket后输入)：

sensor_1,1547718199,35.8
sensor_1,1547718199,35.8
sensor_1,1547718199,35.8
sensor_1,1547718199,35.8
sensor_1,1547718199,35.8

输出：

1
2
3
4
5

三、键控状态 Keyed State

3.1 概述

 

3.2 数据结构

3.3 代码例子

假设做一个温度报警，如果一个传感器前后温差超过10度就报警。这里使用键控状态Keyed State + flatMap来实现。

 代码：

package apitest.state;

import apitest.beans.SensorReading;
import org.apache.flink.api.common.functions.RichFlatMapFunction;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class StateTest3_KeyedStateApplicationCase {

  public static void main(String[] args) throws Exception {
    // 创建执行环境
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    // 设置并行度 = 1
    env.setParallelism(1);
    // 从socket获取数据
    DataStream<String> inputStream = env.socketTextStream("localhost", 7777);
    // 转换为SensorReading类型
    DataStream<SensorReading> dataStream = inputStream.map(line -> {
      String[] fields = line.split(",");
      return new SensorReading(fields[0], new Long(fields[1]), new Double(fields[2]));
    });

    SingleOutputStreamOperator<Tuple3<String, Double, Double>> resultStream = dataStream.keyBy(SensorReading::getId).flatMap(new MyFlatMapper(10.0));

    resultStream.print();

    env.execute();
  }

  // 如果 传感器温度 前后差距超过指定温度(这里指定10.0),就报警
  public static class MyFlatMapper extends RichFlatMapFunction<SensorReading, Tuple3<String, Double, Double>> {

    // 报警的温差阈值
    private final Double threshold;

    // 记录上一次的温度
    ValueState<Double> lastTemperature;

    public MyFlatMapper(Double threshold) {
      this.threshold = threshold;
    }

    @Override
    public void open(Configuration parameters) throws Exception {
      // 从运行时上下文中获取keyedState
      lastTemperature = getRuntimeContext().getState(new ValueStateDescriptor<Double>("last-temp", Double.class));
    }

    @Override
    public void close() throws Exception {
      // 手动释放资源
      lastTemperature.clear();
    }

    @Override
    public void flatMap(SensorReading value, Collector<Tuple3<String, Double, Double>> out) throws Exception {
      Double lastTemp = lastTemperature.value();
      Double curTemp = value.getTemperature();

      // 如果不为空，判断是否温差超过阈值，超过则报警
      if (lastTemp != null) {
        if (Math.abs(curTemp - lastTemp) >= threshold) {
          out.collect(new Tuple3<>(value.getId(), lastTemp, curTemp));
        }
      }

      // 更新保存的"上一次温度"
      lastTemperature.update(curTemp);
    }
  }
}

3.4 两种状态的对比

3.5 横向扩展问题（并行度改变）

        对于Keyed State和Operator State这两种状态，他们的横向伸缩机制不太相同。

​        由于每个Keyed State总是与某个Key相对应，当横向伸缩时，Key总会被自动分配到某个算子子任务上，因此Keyed State会自动在多个并行子任务之间迁移。

​        对于一个非`KeyedStream`，流入算子子任务的数据可能会随着并行度的改变而改变。如上图所示，假如一个应用的并行度原来为2，那么数据会被分成两份并行地流入两个算子子任务，每个算子子任务有一份自己的状态，当并行度改为3时，数据流被拆成3支，或者并行度改为1，数据流合并为1支，此时状态的存储也相应发生了变化。

四、状态后端 State Backends

4.1 概述

4.2 不同的状态后端

区别在于状态和checkpoint的存储位置。

4.3 代码示例

package apitest.state;

import apitest.beans.SensorReading;
import org.apache.flink.api.common.restartstrategy.RestartStrategies;
import org.apache.flink.api.common.time.Time;
import org.apache.flink.contrib.streaming.state.RocksDBStateBackend;
import org.apache.flink.runtime.state.filesystem.FsStateBackend;
import org.apache.flink.runtime.state.memory.MemoryStateBackend;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class StateTest4_FaultTolerance {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        // 1. 状态后端配置
        env.setStateBackend(new MemoryStateBackend());
        env.setStateBackend(new FsStateBackend("checkpointDataUri"));
        // 这个需要另外导入依赖
        env.setStateBackend(new RocksDBStateBackend("checkpointDataUri"));

        // socket文本流
        DataStream<String> inputStream = env.socketTextStream("localhost", 7777);

        // 转换成SensorReading类型
        DataStream<SensorReading> dataStream = inputStream.map(line -> {
            String[] fields = line.split(",");
            return new SensorReading(fields[0], new Long(fields[1]), new Double(fields[2]));
        });

        dataStream.print();
        env.execute();
    }
}

总思维导图

参考

1、Flink状态管理详解：Keyed State和Operator List State深度解析

C小C
关注
专栏目录
Flink 状态管理
技术大神之路
06-03 396
有状态计算是指在程序计算过程中，在Flink程序内部存储计算产生的中间结果，并提供给后续Function或者算子计算结果使用。 状态数据可以维系在本地存储中（Flink的堆内存或者堆外存），也可以借助第三方的存储，例如Flink已经实现的RocksDB，或者自定义其他存储。 state 可以理解为Flink上下文中可以access的一个内存数据库（相比于无状态计算，需要实现同样功能需要借助外部数据库，如Redis），通过存取更新状态，从而实现有状态地算子运算。 案例： 用户想实现CEP（复杂事件处理），获
Flink -- 状态管理
最新发布
m0_72566748的博客
09-28 564
Flink中算子任务可以分为有状态和无状态。无状态的算子任务只需要观察每个独立事件，根据当前输入的数据直接转换输出结果。比如map、flatmap有状态的算子，除了当前数据之外，还需要一些其他的数据来得到计算结果。这些其他数据，就是所谓的状态。比如聚合算子、窗口算子都属于有状态算子。
Flink状态管理
m0_63069778的博客
03-25 730
例如使用上面的示例，TTL过期时间为5s，只有创建或者执行write操作时更新，意思是：调用process方法的时候，会更新一个TTL，只要接下来在5s内写入数据，生存时间又会更新为5s，状态值仍然存在，但间隔大于5s了，状态值会重新new一个。显然，两者的读写性能hash快很多，但是要考虑一点，状态的数据量很大的时候，如果使用哈希表状态后端，TaskManager的内存不一定够用，这时候就使用RocksDS，把状态持久化到硬盘。调用add方法时，不是将数据存储到状态中，而是将规约计算的结果存储到状态里。
flink入门文档.pdf
08-16
Flink 入门文档 Flink 是一个大数据处理框架，具有批流一体、高容错、高吞吐、低延迟、大规模计算、多平台部署等核心特点。本文档将对 Flink 的核心概念、架构、API 层次进行详细介绍。 1. 核心概念 Flink 是一个...
Flink示例源码-Flink入门
12-16
"Flink示例源码-Flink入门"是一个旨在帮助初学者理解并掌握Flink核心概念和功能的资源包。在这个压缩包中，我们可能会找到一些精心设计的Flink示例代码，这些代码将有助于我们了解如何使用Flink进行数据处理。 首先...
flink入门资料
10-12
flink基本概念与部署，DataStreamAPI，Druid数据存储，Druid基本概念。Flink应用案例教程，Flink状态管理与恢复及容错设计与指标设计。
Flink快速入门与实战.pdf
06-21
### Flink快速入门与实战知识点总结 #### 一、Flink概述 - **定义**：Apache Flink 是一款开源的大规模数据处理框架，能够高效地处理流式数据和批处理数据，支持有状态计算。 - **特点**： - 支持无限数据流和...
Apache Flink 入门及进阶 (1).pdf
12-30
6. **状态管理和快照**：Flink的状态数据在每个算子的并发实例中存储，可以是内存或持久化的KV存储如RocksDB。状态数据随着并发度动态扩展或收缩。通过Chandy-Lamport算法实现分布式快照，通过Checkpoint Barrier...
【Flink】Flink的状态管理
HR的博客
02-23 618
Flink的状态管理Flink中的状态状态的分类Operator StateKeyed State状态后端（State Backends） Flink中的状态 什么是状态？ 由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态 可以认为状态就是一个本地变量，可以被任务的业务逻辑访问 Flink 会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑 有些算子有些任务是没有状态的，如map操作，只跟输入数据有关。像窗口操作不管是增量窗
Flink-状态管理
m0_57697768的博客
06-13 339
这样，并行度缩放之后的并行子任务就获取到了联合后完整的“大列表”，可以自行选择要使用的状态项和要丢弃的状态项。这种“均匀分配”的具体方法就是“轮询”（round-robin），与之前介绍的rebanlance数据传输方式类似，是通过逐一“发牌”的方式将状态项平均分配的。与Keyed State中的列表状态的区别是：在算子状态的上下文中，不会按键（key）分别处理状态，所以每一个并行子任务上只会保留一个“列表”（list），也就是当前并行子任务上所有状态项的集合。在这种情况下，状态的访问方式又会有所不同。
【Flink】状态管理
lxtx
11-23 2768
根据当前的输入可以直接转换得到输出结果，这种鼻子就是无状态算子，如map,flatMap,filter。
Flink——状态管理
m0_57126456的博客
11-26 1045
状态分类：算子状态（Operatior State）；键控状态（Keyed State）；状态后端(StateBackends） 什么是状态 1：由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态 2：可以认为状态就是一个本地变量，可以被任务的业务逻辑访问 3：Flink 会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑 算子状态（Operator State） 1：算子状态的作用范围限定为算子任务，由同一并.
Flink基础入门：状态ful流处理与核心概念详解
6. 核心组件：Flink 提供了诸如状态后端（如内存、硬盘或外部存储）、流处理API（如DataStream API 或 Table API）以及用于处理复杂逻辑的用户自定义状态函数等关键组件。 Apache Flink 是一个强大且灵活的工具，它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值