Flink学习——基本转换算子

已于 2023-05-18 20:35:24 修改
阅读量639 收藏 3
点赞数
分类专栏： # Flink-scala版 文章标签： hbase java 数据库
于 2023-05-17 15:40:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Helen_1997_1997/article/details/130717868
版权

目录

一、filter算子

二、map算子

三、聚合算子

1.keyBy——按键分区

2.简单聚合

(1)min：在输入流上，对指定的字段求最小值

(2)minBy：返回包含字段最小值的整条数据

(3)max：在输入流上，对指定的字段求最大值

(4)maxBy：返回包含字段最大值的整条数据

(5)sum：在输入流上，对指定的字段做叠加求和的操作

3.reduce——归约聚合

一、filter算子

import source.SensorReading
import org.apache.flink.api.common.functions.FilterFunction
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}

object Transform {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    // 加载数据源
    val path = "D:\\javaseprojects\\flinkstu\\resources\\sensor.txt"
    val inputStream: DataStream[String] = env.readTextFile(path)

    // 数据计算
    val dataStream: DataStream[SensorReading] = inputStream.map(data => {
      val arr: Array[String] = data.split(",")
      SensorReading(arr(0).trim, arr(1).trim.toLong, arr(2).trim.toDouble)
    })

    // TODO filter函数用法一：匿名函数
//    val filterStream: DataStream[SensorReading] = dataStream.filter(data => data.id.contains("sensor_1"))
//    val filterStream: DataStream[SensorReading] = dataStream.filter(data => data.id=="sensor_1")
    val filterStream: DataStream[SensorReading] = dataStream.filter(data => data.id.equals("sensor_1"))
    filterStream.print()

    // TODO filter函数用法二：FilterFunction函数
    val filterStream1: DataStream[SensorReading] = dataStream.filter(new FilterFunction[SensorReading] {
      override def filter(value: SensorReading): Boolean = {
        value.id.contains("sensor_1")
      }
    })
    //    filterStream1.print()

    // TODO filter函数用法三：自定义函数
    val filterStream2: DataStream[SensorReading] = dataStream.filter(new FilterTest)
//    filterStream2.print()

    env.execute()
  }
}

class FilterTest extends FilterFunction[SensorReading]{
  override def filter(value: SensorReading): Boolean = {
    value.id.equals("sensor_1")
       true
    else
       false
  }
}

运行结果：
SensorReading(sensor_1,1684201947,39.8)
SensorReading(sensor_1,1684201910,36.8)
SensorReading(sensor_1,1684202012,44.7)
SensorReading(sensor_1,1684201973,38.16)
SensorReading(sensor_1,1684201973,38.16)

二、map算子

import source.SensorReading
import org.apache.flink.api.common.functions.MapFunction
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}

object Transform {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    // 加载数据源
    val path = "D:\\javaseprojects\\flinkstu\\resources\\sensor.txt"
    val inputStream: DataStream[String] = env.readTextFile(path)

    // 数据计算
    val dataStream: DataStream[SensorReading] = inputStream.map(data => {
      val arr: Array[String] = data.split(",")
      SensorReading(arr(0).trim, arr(1).trim.toLong, arr(2).trim.toDouble)
    })

    // TODO map算子用法一：传入匿名函数
    val mapStream: DataStream[String] = dataStream.map(data => data.id + " temp")
    //    mapStream.print()

    // TODO map算子用法二：传入MapFunction
    val mapStream1: DataStream[String] = dataStream.map(new MapFunction[SensorReading, String] {
      override def map(value: SensorReading): String = {
        value.id + " temp"
      }
    })
    //    mapStream1.print()
    
    // TODO map算子用法三：传入自定义函数
    val mapStream2: DataStream[String] = dataStream.map(new MapTest)
    mapStream2.print()
    
    env.execute()
  }
}

class MapTest extends MapFunction[SensorReading, String] {
  override def map(value: SensorReading): String = {
    value.id + " temp"
  }
}

运行结果：
sensor_1 temp
sensor_4 temp
sensor_3 temp
sensor_7 temp
sensor_1 temp
sensor_1 temp
sensor_1 temp
sensor_1 temp

三、聚合算子

1.keyBy——按键分区

object Transform {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    // 加载数据源
    val path = "D:\\javaseprojects\\flinkstu\\resources\\sensor.txt"
    val inputStream: DataStream[String] = env.readTextFile(path)

    // 数据计算
    val dataStream: DataStream[SensorReading] = inputStream.map(data => {
      val arr: Array[String] = data.split(",")
      SensorReading(arr(0).trim, arr(1).trim.toLong, arr(2).trim.toDouble)
    })

    // TODO keyBy
    val keyStream: KeyedStream[SensorReading, String] = dataStream.keyBy(x => x.id)
    keyStream.print()

    env.execute()
  }
}

2.简单聚合

(1)min：在输入流上，对指定的字段求最小值

只选择指定字段的最小值，其他字段会保留最初第一个数据的值。

object Transform {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    // 加载数据源
    val path = "D:\\javaseprojects\\flinkstu\\resources\\sensor.txt"
    val inputStream: DataStream[String] = env.readTextFile(path)

    // 数据计算
    val dataStream: DataStream[SensorReading] = inputStream.map(data => {
      val arr: Array[String] = data.split(",")
      SensorReading(arr(0).trim, arr(1).trim.toLong, arr(2).trim.toDouble)
    })

    // TODO keyBy
    val keyStream: KeyedStream[SensorReading, String] = dataStream.keyBy(x => x.id)

    // TODO min传参的第一种方法：field: String
    val minStream: DataStream[SensorReading] = keyStream.min("temperature")
    minStream.print()

    // TODO min传参的第二种方法：position: Int
    val minStream1: DataStream[SensorReading] = keyStream.min(2)
    minStream1.print()

    env.execute()
  }
}

运行结果：

SensorReading(sensor_1,1684201947,39.8)
SensorReading(sensor_4,1684202000,17.7)
SensorReading(sensor_3,1684202064,27.3)
SensorReading(sensor_7,1684202068,13.8)
SensorReading(sensor_1,1684201947,36.8)
SensorReading(sensor_1,1684201947,36.8)
SensorReading(sensor_1,1684201947,36.8)
SensorReading(sensor_1,1684201947,36.8)

(2)minBy：返回包含字段最小值的整条数据

object Transform {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    // 加载数据源
    val path = "D:\\javaseprojects\\flinkstu\\resources\\sensor.txt"
    val inputStream: DataStream[String] = env.readTextFile(path)

    // 数据计算
    val dataStream: DataStream[SensorReading] = inputStream.map(data => {
      val arr: Array[String] = data.split(",")
      SensorReading(arr(0).trim, arr(1).trim.toLong, arr(2).trim.toDouble)
    })

    // TODO keyBy
    val keyStream: KeyedStream[SensorReading, String] = dataStream.keyBy(x => x.id)

    // TODO minBy传参的第一种方法：field: String
    val minByStream: DataStream[SensorReading] = keyStream.minBy("temperature")
    minByStream.print()

    // TODO minBy传参的第二种方法：position: Int
    val minByStream1: DataStream[SensorReading] = keyStream.minBy(2)
    minByStream1.print()

    env.execute()
  }
}

运行结果：

SensorReading(sensor_1,1684201947,39.8)
SensorReading(sensor_4,1684202000,17.7)
SensorReading(sensor_3,1684202064,27.3)
SensorReading(sensor_7,1684202068,13.8)
SensorReading(sensor_1,1684201910,36.8)
SensorReading(sensor_1,1684201910,36.8)
SensorReading(sensor_1,1684201910,36.8)
SensorReading(sensor_1,1684201910,36.8)

(3)max：在输入流上，对指定的字段求最大值

object Transform {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    // 加载数据源
    val path = "D:\\javaseprojects\\flinkstu\\resources\\sensor.txt"
    val inputStream: DataStream[String] = env.readTextFile(path)

    // 数据计算
    val dataStream: DataStream[SensorReading] = inputStream.map(data => {
      val arr: Array[String] = data.split(",")
      SensorReading(arr(0).trim, arr(1).trim.toLong, arr(2).trim.toDouble)
    })

    // TODO keyBy
    val keyStream: KeyedStream[SensorReading, String] = dataStream.keyBy(x => x.id)

    // TODO max传参的第一种方法：field: String
    val maxStream: DataStream[SensorReading] = keyStream.max(2)
    maxStream.print()

    // TODO max传参的第二种方法：field: String
    val maxStream1: DataStream[SensorReading] = keyStream.max("temperature")
    maxStream1.print()

    env.execute()
  }
}

运行结果：

SensorReading(sensor_1,1684201947,39.8)
SensorReading(sensor_4,1684202000,17.7)
SensorReading(sensor_3,1684202064,27.3)
SensorReading(sensor_7,1684202068,13.8)
SensorReading(sensor_1,1684201947,39.8)
SensorReading(sensor_1,1684201947,44.7)
SensorReading(sensor_1,1684201947,44.7)
SensorReading(sensor_1,1684201947,44.7)

(4)maxBy：返回包含字段最大值的整条数据

object Transform {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    // 加载数据源
    val path = "D:\\javaseprojects\\flinkstu\\resources\\sensor.txt"
    val inputStream: DataStream[String] = env.readTextFile(path)

    // 数据计算
    val dataStream: DataStream[SensorReading] = inputStream.map(data => {
      val arr: Array[String] = data.split(",")
      SensorReading(arr(0).trim, arr(1).trim.toLong, arr(2).trim.toDouble)
    })

    // TODO keyBy
    val keyStream: KeyedStream[SensorReading, String] = dataStream.keyBy(x => x.id)

    // TODO maxBy传参的第一种方法：field: String
    val maxByStream: DataStream[SensorReading] = keyStream.maxBy("temperature")
    maxByStream.print()

    // TODO maxBy传参的第二种方法：position: Int
    val maxByStream1: DataStream[SensorReading] = keyStream.maxBy(2)
    maxByStream1.print()

    env.execute()
  }
}

运行结果：

SensorReading(sensor_1,1684201947,39.8)
SensorReading(sensor_4,1684202000,17.7)
SensorReading(sensor_3,1684202064,27.3)
SensorReading(sensor_7,1684202068,13.8)
SensorReading(sensor_1,1684201947,39.8)
SensorReading(sensor_1,1684202012,44.7)
SensorReading(sensor_1,1684202012,44.7)
SensorReading(sensor_1,1684202012,44.7)

(5)sum：在输入流上，对指定的字段做叠加求和的操作

object Transform {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    // 加载数据源
    val path = "D:\\javaseprojects\\flinkstu\\resources\\sensor.txt"
    val inputStream: DataStream[String] = env.readTextFile(path)

    // 数据计算
    val dataStream: DataStream[SensorReading] = inputStream.map(data => {
      val arr: Array[String] = data.split(",")
      SensorReading(arr(0).trim, arr(1).trim.toLong, arr(2).trim.toDouble)
    })

    // TODO keyBy
    val keyStream: KeyedStream[SensorReading, String] = dataStream.keyBy(x => x.id)

    // TODO sum算子传参的第一种方法：field: String
    val sumStream: DataStream[SensorReading] = keyStream.sum("temperature")
    sumStream.print()

    // TODO sum算子传参的第一种方法：position: Int
    val sumStream1: DataStream[SensorReading] = keyStream.sum(2)
    sumStream1.print()

    env.execute()
  }
}

运行结果：

SensorReading(sensor_1,1684201947,39.8)
SensorReading(sensor_4,1684202000,17.7)
SensorReading(sensor_3,1684202064,27.3)
SensorReading(sensor_7,1684202068,13.8)
SensorReading(sensor_1,1684201947,76.6)
SensorReading(sensor_1,1684201947,121.3)
SensorReading(sensor_1,1684201947,159.45999999999998)
SensorReading(sensor_1,1684201947,197.61999999999998)

3.reduce——归约聚合

object Transform {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    // 加载数据源
    val path = "D:\\javaseprojects\\flinkstu\\resources\\sensor.txt"
    val inputStream: DataStream[String] = env.readTextFile(path)

    // 数据计算
    val dataStream: DataStream[SensorReading] = inputStream.map(data => {
      val arr: Array[String] = data.split(",")
      SensorReading(arr(0).trim, arr(1).trim.toLong, arr(2).trim.toDouble)
    })

    // TODO keyBy
    val keyStream: KeyedStream[SensorReading, String] = dataStream.keyBy(x => x.id)

    // TODO reduce使用方法一：传入匿名函数
    val reduceStream: DataStream[SensorReading] = keyStream.reduce((x, y) => {
      if (x.temperature <= y.temperature) {
        x
      } else {
        SensorReading(x.id, x.timestamp, x.temperature)
      }
    })
    reduceStream.print()

    // TODO reduce使用方法二：传入自定义函数
    val reduceStream1: DataStream[SensorReading] = keyStream.reduce(new ReduceTest)
    reduceStream1.print()

    env.execute()
  }
}

class ReduceTest extends ReduceFunction[SensorReading] {
  override def reduce(value1: SensorReading, value2: SensorReading): SensorReading = {
    // todo 通过reduce实现min
    // SensorReading(value1.id, value1.timestamp, value1.temperature.min(value2.temperature))

    // todo 通过reduce实现minBy
    SensorReading(value1.id, value2.timestamp, value1.temperature.min(value2.temperature))
  }
}

运行结果：

SensorReading(sensor_1,1684201947,39.8)
SensorReading(sensor_4,1684202000,17.7)
SensorReading(sensor_3,1684202064,27.3)
SensorReading(sensor_7,1684202068,13.8)
SensorReading(sensor_1,1684201910,36.8)
SensorReading(sensor_1,1684202012,36.8)
SensorReading(sensor_1,1684201973,36.8)
SensorReading(sensor_1,1684201973,36.8)
雷神乐乐
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据转换必须熟悉的 Operator(算子)
http://www.54tianzhisheng.cn/
09-22 645
在 Flink 应用程序中，无论你的应用程序是批程序，还是流程序，都是上图这种模型，有数据源（source），有数据下游（sink），我们写的应用程序多是对数据源过来的数据做一系列操作，总结如下。 Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source...
5、flink任务中常用的转换算子（Transformation）
向热爱自己一样，热爱这个世界。
08-18 512
使用用户定义的 Partitioner 将元素分发到下游算子的分区中去// 1.获取执行环境/** 功能说明：* 自定义分区器，根据输入的数据获取分区编号* 泛型说明：* @K ： key的数据类型* */@Overridereturn 0;return 1;/** 功能说明：* key提取器，根据输入的数据，获取key* 泛型说明：* @IN ： 输入数据类型* @KEY ： 输出数据类型(key)* */
硬核！一文学完Flink流计算常用算子（Flink算子大全）
wangxi06的专栏
03-12 3209
Flink和Spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）。 所以下面将Flink的算子分为两大类：一类是DataSet，一类是DataStream。 DataSet 一、Source算子 1. fromCollection fromCollection：从本地集合读取数据 例： valenv=ExecutionEnvironment.getExecutionEnvironment valtextDataSet...
Flink基础概念及算子
m0_57697768的博客
06-08 2984
无界数据流例如从Kafka这样的消息组件中读取的数据一般，没有数据流结束的定义，即使没有数据也在进行消费。有界数据流有界数据流能够等到所有数据都提取之后再进行处理。有状态流处理将数据的中间状态进行存储，能够重复使用该状态进行处理。Flink的特点Flink计算模型流计算微批处理时间语义事件时间、处理时间处理时间窗口多、灵活少、不灵活（窗口必须是批次的整数倍）状态有没有流式SQL有没有Flink分层API//todo Watersensor Pojo对象。
最强Flink算子大全手册，面试拿捏了~
03-01 3853
Flink算子大全手册，面试好帮手！
Flink:算子
难得糊涂
10-25 1390
整理一下flink的任务吧.我们在搞定了source和sink后.那算子就很重要了.为啥子呢?因为算子就是我们处理source的过程,最后需要sink到指定的存储空间里.cuiyaonan200@163.com本文基于官网v1.13.2的版本整理。
剑指大数据——Flink学习精要（Java版)最终修订版
06-18
Flink的核心概念包括流（Stream）、数据源（Source）、数据转换（Transformation）和数据接收器（Sink），这些构成了Flink程序的基本构建块。 在Java版的Flink应用中，开发者可以利用丰富的API来构建复杂的数据处理...
flink学习demo代码库
07-11
5. **Flink-day02**：通常会介绍基本的Flink概念，如DataStream API，以及基本的算子和连接操作。 6. **Flink-day04**：可能涉及到状态一致性、检查点和保存点，这些都是Flink的容错机制，确保作业的高可用性。 7. *...
大数据工程师 Flink技术与实战 源码笔记下载
10-15
2. **基本概念和架构**：介绍Flink的基本概念，如Job、Task、Operator、DataStream，以及Flink的运行架构。 3. **Flink程序开发**：通过实例讲解如何使用Flink API编写数据处理程序，包括数据源的接入、数据转换和...
flink工程-权益发放实时分析框架
12-17
《Flink工程——权益发放实时分析框架》 在大数据处理领域，Apache Flink以其强大的流处理能力和低延迟特性，成为了许多企业的首选工具。本工程主要关注的是如何利用Flink构建一个权益发放的实时分析框架，这涉及到...
Flink在企业落地实践.zip
07-30
《Flink在企业落地实践——以字节跳动为例》 Apache Flink，作为一个高性能、分布式、实时的大数据处理框架，近年来在企业级应用中占据了重要地位。本资料集主要探讨了Flink如何在大型企业，尤其是以字节跳动为代表...
Flink从入门到放弃—Stream API—常用算子(filter 和 keyBy）
京河小蚁的博客
11-14 848
我们可以看到KeyedStream和filter、map、flatMap算子有差异了，keyBy算子没有使用DataStream,而是另起了一个继承于DataStream的类 KeyedStream。值得一提的是，有些同学说源码生涩难懂，其实不是，你看上面if判断里的东西其实都是咱们学过的继承多态等基础知识，filter调的其实也是用户代码实现的filter。同时，KeySelector选择器也不一样，它返回的是一个KEY。上面代码没有实际业务含义，就是最简单的应用，目的是为了看其源码。
flink 常用算子之map、filter和flatMap
dongxiexiaoadou的博客
06-23 4217
Transformation各算子可以对Flink数据流进行处理和转化，是Flink流处理非常核心的API。 map map算子对一个DataStream中的每个元素使用用户自定义的map函数进行处理，每个输入元素对应一个输出元素，最终整个数据流被转换成一个新的DataStream。输出的数据流DataStream[OUT]类型可能和输入的数据流DataStream[IN]不同。 如业务需求可以对一些数据进行拼接字符，倍数扩大等场景使用。 我们可以重写MapFunction或RichMapFun
flink常见的算子
m0_47310235的博客
07-11 488
这个滑动窗口的意思是，在当前时间窗口内，每隔 5 秒钟计算最近 15 秒的数据，即每次计算最近 15 秒内的数据，计算完成后，窗口向右滑动 5 秒，开始计算最近 15 秒的数据，以此类推。在 reduce() 函数中，使用了一个匿名内部类实现 ReduceFunction 接口，其中的 reduce() 方法对输入元素进行聚合，将两个整数元素相加，并返回聚合结果。在 Flink 中，Filter 算子是一个数据流转换算子，用于过滤掉不符合条件的数据元素，并将满足条件的数据元素继续传递给下游算子进行处理。
Flink算子(Filter、KeyBy、Reduce和Aggregate)
影子
03-23 3324
Filter算子：过滤作用 filter算子过滤函数 过滤函数，过滤出需要的数据，对传入的数据进行判断，如果返回true则该元素继续向下传递，如果返回false则该元素将被过滤掉。比如：如果返回来的价格大于100，我就打印出来，小于100就不打印出来 package Flink_API; import com.alibaba.fastjson.JSON; import org.apache.flink.api.common.functions.FilterFunction; import org
大数据之flink常用算子
大数据同盟会的博客
12-13 7543
一、source分类 单并行的Source直接实现了SourceFunction接口 1、socketTextStream("localhost", 8888) 2、fromCollection(Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)) 3、fromElements(1,2,3,4,5,6,7,8,9,10,11,12) 多并行的Source实现ParallelSourceFunction接口 4、generateSequence(1, 100)
Flink基础概念及算子_flink 算子
最新发布
2401_84164672的博客
04-12 900
当Flink提供的所有分区策略都不能满足用户的需求时，我们可以通过使用partitionCustom()方法来自定义分区策略。
三、Flink常用的转换算子
weixin_43857464的博客
12-04 1028
Flink常用转换算子常用转换算子类型一、基本转换算子1、map2、filter3、flatMap二、键控流转换算子1、keyBy：分组聚合，类似spark的groupByKey算子，将相同的key存到同一个分区中。2、 滚动聚合算子：由KeyedStream对象来调用，也就是需要用在keyBy之后。三、多流转换算子1、union：将多条流数据合并到一条流中2、connect：将两条流数据合并到一条流中三、分布式转换算子1、随机将数据打散到不同的分区（Random）2、轮询的将数据分配到不同的分区（Roun
轻松入门进阶Flink第三课 Flink基础三
fegus的博客
05-06 534
第09讲：Flink 状态与容错 这一课时我们主要讲解 Flink 的状态和容错。 在 Flink 的框架中，进行有状态的计算是 Flink 最重要的特性之一。所谓的状态，其实指的是 Flink 程序的中间计算结果。Flink 支持了不同类型的状态，并且针对状态的持久化还提供了专门的机制和状态管理器。 状态 我们在 Flink 的官方博客中找到这样一段话，可以认为这是对状态的定义： When working with state, it might also be useful to read about
flink程序运行运用的算子
01-05
Flink程序运用的算子有很多种，以下是几个常用的算子示例： 1. Map算子：对输入流中的每个元素应用一个函数，并返回一个新的元素。可以用来进行数据的转换和处理。 ```java DataStream<Integer> input = ...; ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值