Flink原理实战每日一篇10

最新推荐文章于 2022-04-28 22:06:21 发布

黄瓜炖啤酒鸭

最新推荐文章于 2022-04-28 22:06:21 发布

阅读量555

点赞数

分类专栏： Flink scala

本文链接：https://blog.csdn.net/qq_31866793/article/details/94414698

版权

这篇博客主要探讨了Flink的Table API和SQL在实际开发中的应用。虽然内容涵盖了一些手写API的案例，但作者强调在实践中Flink SQL更为常见。文章列举了5个不同的手写API示例，并提醒读者在使用Scala时可能会遇到导入错误的问题，需要特定的import语句来解决。

摘要由CSDN通过智能技术生成

继续讲Flink Table ..........................

这一篇就有点乱七八糟了，都是写案例，说实话，在实际开发中都是Flink SQL，在这里我们还是手写API 然后过了，把重心放在SQL上面。。。。

下面全是手写案例：

1）

object Over_window {
  def main(args: Array[String]): Unit = {

    val env = StreamExecutionEnvironment.getExecutionEnvironment


    //todo 创建tableEnv
    val tableEnv = TableEnvironment.getTableEnvironment(env)
    val stream = env.fromElements(("aa", 192L), ("aa", 192L),("bb", 112L))

    val table: Table = tableEnv.fromDataStream(stream, 'id, 'time)

    //todo 主要四个参数   partitionBy ,  orderBy ,  preceding (following,与preceding相反)
    table.window(Over partitionBy 'id orderBy 'rowtime preceding UNBOUNDED_RANGE as 'window)
      .select('id,'time.sum over 'window,'time.max over 'window)


    //todo Over Window 聚合操作
    val rs: Table =table.window(Over partitionBy 'id orderBy 'rowtime preceding UNBOUNDED_RANGE as 'window)
      .select('id,'id.avg over 'window,'time.max over 'window)

    //todo 去重

    val distinctRs: Table = table.window(Over partitionBy 'id orderBy 'rowtime preceding UNBOUNDED_RANGE as 'window)
      .select('id,'id.avg over 'window,'time.max over 'window)

    table.distinct()
  }
}

2）

object Table_API {
  def main(args: Array[String]): Unit = {
    val env = StreamExecutionEnvironment.getExecutionEnvironment


    //todo 创建tableEnv
    val tableEnv = TableEnvironment.getTableEnvironment(env)
    val stream = env.fromElements(("aa", 192L), ("aa", 192L))
    val table: Table = tableEnv.fromDataStream(stream, 'id, 'name)

    tableEnv.registerDataStream("table2", stream, 'myLong, 'myString)


    //todo sql查询然后转成流
    val rs: DataStream[(Boolean, (String, Long))] = table.groupBy