Flink中 Table 和 DataStream 的相互转换

最新推荐文章于 2025-01-27 11:27:25 发布

原创最新推荐文章于 2025-01-27 11:27:25 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#flink #scala #big data

这篇博客详细介绍了Apache Flink中DataStream与Table之间的相互转换操作。首先创建了TableEnvironment，然后通过读取文本文件将DataStream转换为Table。接着展示了如何将Table转换回DataStream并打印，以及如何将DataStream注册为临时视图，并执行SQL查询来聚合数据。最后，程序执行了转换和查询的流程。

Flink中 Table 和 DataStream 的相互转换

创建表环境

	val bsEnv = StreamExecutionEnvironment.getExecutionEnvironment
    bsEnv.setParallelism(1)
    val bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build()
    val bsTableEnv = StreamTableEnvironment.create(bsEnv, bsSettings)

DataStream -> Table

	val dataStream: DataStream[TrainAlarm] = bsEnv.readTextFile("D:\\Note\\Projects\\02\\Flink\\cha01\\file\\train2.txt")
      .map(line => {
        val splits = line.split(",")
        TrainAlarm(splits(0), splits(1).toLong, splits(2).toDouble)
      })

    val table1 = bsTableEnv.fromDataStream(dataStream,'id,'ts,'temp)

Table -> DataStream

bsTableEnv.toAppendStream[Row](table1).print()

DataStream -> SQL中的表

bsTableEnv.createTemporaryView("v_train",dataStream,'id,'ts,'temp)
    val table2 = bsTableEnv.sqlQuery(
      """
      select id,max(temp) max_temp
      from v_train
      group by id
      """.stripMargin)
   
    bsTableEnv.toRetractStream[Row](table2).print()

    bsEnv.execute()