Flink-状态后端得定义及选择 | 状态编程求上次温度与此次温度对比相差指定额度进行报警 | 使用已有API实现

最新推荐文章于 2024-08-12 11:30:17 发布

SmallScorpion

最新推荐文章于 2024-08-12 11:30:17 发布

阅读量406

点赞数

分类专栏： Flink模块化学习文章标签： flink 大数据 java

本文链接：https://blog.csdn.net/qq_40180229/article/details/106413041

版权

本文介绍了Flink的状态后端，强调了其在低延迟数据处理中的重要性。状态后端负责本地状态管理和远程检查点存储。文中通过一个实例展示了如何选择状态后端，并提供了一个应用示例，该示例监测温度变化，当两次读取的温度差超过10.0时触发报警。

摘要由CSDN通过智能技术生成

GitHub代码

https://github.com/SmallScorpion/flink-tutorial.git

状态后端（State Backends）

每传入一条数据，有状态的算子任务都会读取和更新状态
由于有效的状态访问对于处理数据的低延迟至关重要，因此每个并行任务都会在本地维护其状态，以确保快速的状态访问
状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就叫做状态后端（state backend）
状态后端主要负责两件事：本地的状态管理，以及将检查点（checkpoint）状态写入远程存储

选择一个状态后端

在这里插入图片描述

Pom

        <!-- RocksDBStateBackend -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-statebackend-rocksdb_2.11</artifactId>
            <version>1.10.0</version>
        </dependency>

在集群模式配置文件中也可以设置
在这里插入图片描述

状态小应用

获取上一次得温度，与这次获取得数据进行对比，两次温度相差10.0则进行报警输出，类似reduce算子

import com.atguigu.bean.SensorReading
import org.apache.flink.api.common.functions.RichFlatMapFunction
import org.apache.flink.api.common.state.{
   ValueState, ValueStateDescriptor}
import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.scala._
import org.apache.flink.util.Collector

object StateTempChangeAlertTest {
   
  def main(args: Array[String]): Unit = {