Flink--Table API 和SQL入门案例

该博客展示了如何利用Apache Flink的Table API和SQL进行流式数据处理。首先,从SensorSource获取数据流并转换为动态表。接着,通过Table API进行过滤操作,筛选出id为'sensor_1'的记录。最后,将结果表再次转换为流并打印输出。此外,还演示了如何使用SQL查询注册为临时视图的流数据,实现相同的数据筛选功能。
摘要由CSDN通过智能技术生成

流式表处理的过程可以描述出下图:

 1.先把流转换成动态表   Stream=>  table

2.表经过一定操作,转成结果表   table  (CRUD)=>  table

3.将表转换成流输出      table => Stream

/**
 * @program: flink
 * @description: ${description}
 * @author: Mr.G
 * @create: 2021-09-26 19:21
 **/
package com.ct.day08

import com.ct.day01.SensorSource
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.table.api._
import org.apache.flink.api.scala._
import org.apache.flink.table.api.scala._
import org.apache.flink.types.Row


/**
 * @ClassName: ScalarFunction
 * @Description: ${description}
 * @Author Mr.G
 * @Date 2021/9/26
 * @Version 1.0
 *
 */
object TableApiExample {

  def main(args: Array[String]): Unit = {

    val  env = StreamExecutionEnvironment.getExecutionEnvironment

    env.setParallelism(1)

    val settings = EnvironmentSettings
      .newInstance()
      .useBlinkPlanner()
      .inStreamingMode()
      .build()

    //得到表处理运行环境
    val tEnv = StreamTableEnvironment.create(env,settings)

    val stream = env.addSource(new SensorSource)


    // stream => table

    val table: Table = tEnv.fromDataStream(stream,'id,'timestamp as 'ts,'temperature)


    // TableApi 形式
    // table   CRUD   => table
    val rstable: Table = table
      .filter("id ='sensor_1'")
      .select('id)
    // table => DStream
    tEnv.toAppendStream[Row](rstable)
//      .print()


    // SQL 形式

    //先注册成一个表(视图)    Stream => table
    tEnv.createTemporaryView("sensor",stream,'id,'timestamp as 'ts,'temperature)


    //table   CRUD  => table
    tEnv.sqlQuery(" select id from sensor where id = 'sensor_1'")
      //table => Stream
      .toAppendStream[Row]
     // .toRetractStream[Row]
        .print()

    env.execute()

  }

}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
第一章 整体介绍 2 1.1 什么是 Table APIFlink SQL 2 1.2 需要引入的依赖 2 1.3 两种 planner(old & blink)的区别 4 第二章 API 调用 5 2.1 基本程序结构 5 2.2 创建表环境 5 2.3 在 Catalog 中注册表 7 2.3.1 表(Table)的概念 7 2.3.2 连接到文件系统(Csv 格式) 7 2.3.3 连接到 Kafka 8 2.4 表的查询 9 2.4.1 Table API 的调用 9 2.4.2 SQL 查询 10 2.5 将 DataStream 转换成表 11 2.5.1 代码表达 11 2.5.2 数据类型与 Table schema 的对应 12 2.6. 创建临时视图(Temporary View) 12 2.7. 输出表 14 2.7.1 输出到文件 14 2.7.2 更新模式(Update Mode) 15 2.7.3 输出到 Kafka 16 2.7.4 输出到 ElasticSearch 16 2.7.5 输出到 MySql 17 2.8 将表转换成 DataStream 18 2.9 Query 的解释和执行 20 1. 优化查询计划 20 2. 解释成 DataStream 或者 DataSet 程序 20 第三章 流处理中的特殊概念 20 3.1 流处理和关系代数(表,及 SQL)的区别 21 3.2 动态表(Dynamic Tables) 21 3.3 流式持续查询的过程 21 3.3.1 将流转换成表(Table) 22 3.3.2 持续查询(Continuous Query) 23 3.3.3 将动态表转换成流 23 3.4 时间特性 25 3.4.1 处理时间(Processing Time) 25 3.4.2 事件时间(Event Time) 27 第四章 窗口(Windows) 30 4.1 分组窗口(Group Windows) 30 4.1.1 滚动窗口 31 4.1.2 滑动窗口 32 4.1.3 会话窗口 32 4.2 Over Windows 33 1) 无界的 over window 33 2) 有界的 over window 34 4.3 SQL 中窗口的定义 34 4.3.1 Group Windows 34 4.3.2 Over Windows 35 4.4 代码练习(以分组滚动窗口为例) 36 第五章 函数(Functions) 38 5.1 系统内置函数 38 5.2 UDF 40 5.2.1 注册用户自定义函数 UDF 40 5.2.2 标量函数(Scalar Functions) 40 5.2.3 表函数(Table Functions) 42 5.2.4 聚合函数(Aggregate Functions) 45 5.2.5 表聚合函数(Table Aggregate Functions) 47
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值