Flink代码之值状态，列表状态，传感器温度差值大于1.7(八)

最新推荐文章于 2024-06-09 19:39:29 发布

Hi Xiu Hui

最新推荐文章于 2024-06-09 19:39:29 发布

阅读量582

点赞数 1

文章标签： flink

本文链接：https://blog.csdn.net/YellowXiuHui/article/details/106836669

版权

本文介绍了使用Flink的RichFlatMapFunction实现带状态的FlatMap算子，针对传感器数据，当温度差值大于1.7时进行处理。此外，还探讨了如何利用Flink的状态功能，统计列表状态变量中的元素数量。

摘要由CSDN通过智能技术生成

文章目录

一、传感器温度差值大于1.7

1.带状态的FlatMap算子

import com.atguigu.day2.{
   SensorReading, SensorSource}
import org.apache.flink.api.common.functions.RichFlatMapFunction
import org.apache.flink.api.common.state.{
   ValueState, ValueStateDescriptor}
import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.runtime.operators.GenericWriteAheadSink
import org.apache.flink.util.Collector

object FlatMapWithStateExample {
   
  def main(args: Array[String]): Unit = {
   
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    val stream = env
      .addSource(new SensorSource)
      .keyBy(_.id)
      // 第一个参数是输出的元素的类型，第二个参数是状态变量的类型
      .flatMapWithState[(String, Double, Double), Double] {
   
        case (in: SensorReading, None) => {
    // 匹配第一个元素
          (List.empty, Some(in.temperature))
        }
        case (r: SensorReading, lastTemp: Some[Double]) => {
   
            val tempDiff = (r.temperature - lastTemp.get).abs
            if (tempDiff > 1.7) {
   
              (List