Flink Table API与SQL流数据处理实战-CSDN博客

本文链接：https://blog.csdn.net/m0_57376564/article/details/147991146

1. Flink Table API 和 SQL

package table

import api.SensorReading
import org.apache.flink.streaming.api.scala._
import org.apache.flink.table.api.scala._


/**
 *
 * @PROJECT_NAME: Flink
 * @PACKAGE_NAME: table
 * @author: 赵嘉盟-HONOR
 * @data: 2025-05-15 13:38
 * @DESCRIPTION
 *
 */
object Example {
  def main(args: Array[String]): Unit = {
    val env=StreamExecutionEnvironment.getExecutionEnvironment
    val stream=env.readTextFile("Flink/src/main/resources/source.txt")
    //先转换样例类（简单转换操作）
    val dataStream=stream
      .map(data=>{
        val arr=data.split(",")
        SensorReading(arr(0),arr(1).toLong,arr(2).toDouble)
      })
    dataStream.print()

    //首先创建表执行环境
    val tableEnv=StreamTableEnvironment.create(env)
    //基于流创建一张表
    val dataTable=tableEnv.fromDataStream(dataStream)

    //调用table api 进行转换
    val resultTable=dataTable
      .select("id,temperature")
      .filter("id='sensor_1'")

    //直接用SQL实现
    tableEnv.createTemporaryView("dataTable",dataTable)
    val sql="select id,temperature from dataTAble where id='sensor_1'"
    val resultSqlTable=tableEnv.sqlQuery(sql)

    resultTable.toAppendStream[(String,Double)].print("result")
    resultSqlTable.toAppendStream[(String,Double)].print("result sql")

    env.execute("table api example")
  }
}

这段代码展示了如何使用 Apache Flink 的 Table API 和 SQL 对流数据进行处理。以下是代码的详细解释和背景知识拓展。

代码解释

1. 环境设置

val env = StreamExecutionEnvironment.getExecutionEnvironment
val stream = env.readTextFile("Flink/src/main/resources/source.txt")

StreamExecutionEnvironment.getExecutionEnvironment：获取流处理执行环境。
env.readTextFile：从本地文件读取数据流。

2. 数据转换

val dataStream = stream
  .map(data => {
    val arr = data.split(",")
    SensorReading(arr(0), arr(1).toLong, arr(2).toDouble)
  })
dataStream.print()

map：将每行数据转换为 SensorReading 对象，包含 id、timestamp 和 temperature 字段。
dataStream.print()：打印转换后的数据流。

3. Table 环境设置

val tableEnv = StreamTableEnvironment.create(env)

StreamTableEnvironment.create：创建 Table 执行环境，用于将流数据转换为表并进行操作。

4. 基于流创建表

val dataTable = tableEnv.fromDataStream(dataStream)

tableEnv.fromDataStream：将 dataStream 转换为 Table。

5. Table API 操作

val resultTable = dataTable
  .select("id, temperature")
  .filter("id = 'sensor_1'")

select：选择 id 和 temperature 字段。
filter：过滤出 id 为 sensor_1 的数据。

6. SQL 操作

tableEnv.createTemporaryView("dataTable", dataTable)
val sql = "select id, temperature from dataTable where id = 'sensor_1'"
val resultSqlTable = tableEnv.sqlQuery(sql)

createTemporaryView：将 dataTable 注册为临时视图 dataTable。
sqlQuery：执行 SQL 查询，筛选出 id 为 sensor_1 的数据。

7. 结果输出

resultTable.toAppendStream[(String, Double)].print("result")
resultSqlTable.toAppendStream[(String, Double)].print("result sql")
env.execute("table api example")