flink算子使用

最新推荐文章于 2024-04-29 23:26:33 发布

忧伤的橘子

最新推荐文章于 2024-04-29 23:26:33 发布

阅读量429

点赞数

文章标签： flink

本文链接：https://blog.csdn.net/qq_45255036/article/details/105374007

版权

本文介绍了Apache Flink中数据读取的四种方式，包括本地文件、socket流、集合数据及自定义Source。接着详细讲解了Flink的算子使用，如reduce、splitStream、connect、不同类型的窗口（TimeWindow、CountWindow、EventTime）以及ProcessFunction的运用，帮助理解Flink流处理中的数据操作。

摘要由CSDN通过智能技术生成

一.flink读取数据的几种方式

1.1读取本地文件

//    创建批处理的执行环境
    val env: ExecutionEnvironment = ExecutionEnvironment.getExecutionEnvironment
//    从文件读取数据
    val inputDataSet: DataSet[String] = env.readTextFile("input/test.txt")

1.2读取socket流数据

 //    创建批处理的执行环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    //    从端口读取数据
    val textDS: DataStream[String] = env.socketTextStream(host, port)

1.3读取集合的数据

val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
val stream: DataStream[SensorReading] = env.fromCollection(List(
      SensorReading("sen_1", 15151515, 35.15616165165),
      SensorReading("sen_1", 15151515, 35.15616165165),
      SensorReading("sen_2", 15151515, 35.15616165165),
      SensorReading("sen_2", 15151515, 35.15616165165),
      SensorReading("sen_3", 15151515, 35.15616165165),
      SensorReading("sen_4", 15151515, 35.15616165165)
    ))

case class SensorReading(id:String,timeStamp:Long,temperature:Double);

1.4自定义source读取数据

object Fink_Collection_ScourgeTest {
  val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
  def main(args: Array[String]): Unit = {
    sourceMe()
  }

  def sourceMe(): Unit ={
    val strean: DataStream[SensorReading] = env.addSource(new SensorSource)
    strean.print().setParallelism(1)
    env.execute("sourceMe")
  }

}

case class SensorReading(id:String,timeStamp:Long,temperature:Double);

class SensorSource extends S

最低0.47元/天解锁文章