flink-7 DataFrame转换算子

最新推荐文章于 2023-11-17 11:33:52 发布

爱吃甜食_

最新推荐文章于 2023-11-17 11:33:52 发布

阅读量694

点赞数

分类专栏： Flink

本文链接：https://blog.csdn.net/a3125504x/article/details/108686207

版权

本文详细介绍了 Flink 中的 DataFrame 转换操作，包括 map、filter、flatMap、keyBy、Sum 和 reduce 等算子的用法。通过实例展示了如何进行数据分组、累加以及流的合并和拆分。此外，还提到了 union 和 connect 两种流合并方式以及 split 和 select 在数据流拆分中的应用。

摘要由CSDN通过智能技术生成

前言

通过从一个或多个 DataStream 生成新的 DataStream 的过程被称为 Transformation 操作。
在转换过程中，每种操作类型被定义为不同的 Operator
Flink 程序能够将多个 Transformation 组成一个 DataFlow 的拓扑

map、filter

import org.apache.flink.streaming.api.scala.{
   DataStream, StreamExecutionEnvironment}

object map_Filter {
   
  def main(args: Array[String]): Unit = {
   
    val environment: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    import  org.apache.flink.api.scala._
    val sourceStream: DataStream[Int] = environment.fromElements(1,2,3,4,5,6)

    val mapStream: DataStream[Int] = sourceStream.map(x =>x*10)
    val resultStream: DataStream[Int] = mapStream.filter(x => x%3 ==0)
    resultStream.print()

    environment.execute()
  }

}

输出
在这里插入图片描述

flatMap

object flatMap_keyBy_sum {
   
  def main(args: Array[String]): Unit = {
   
    //获取程序入口类
    val environment: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    //从socket当中获取数据
    val resultDataStream: DataStream[String] = environment.socketTextStream("node01",9999)
    //导入隐式转换的包
    import org.apache.flink.api.scala._
    val value: DataStream[(String, Int)] = resultDataStream .flatMap(x => x.split(" ")).map(x => (x, 1))
    value.print()
    //执行程序
    environment.execute()
  }
}