2024年最新Flink Table API 与 SQL 编程整理(1)，阿里架构师经验分享

2401_84302507

已于 2024-05-06 11:36:56 修改

阅读量1k

点赞数 16

分类专栏：程序员文章标签： flink sql 经验分享

于 2024-05-06 11:36:54 首次发布

本文链接：https://blog.csdn.net/2401_84302507/article/details/138489091

版权

程序员专栏收录该内容

159 篇文章 1 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以点击这里获取


**SQL：** `WordCount`案例

SELECT word,COUNT(*) AS cnt FROM MyTable GROUP BY word


**【1】声明式：** 用户只关系做什么，不用关心怎么做；  
 **【2】高性能：** 支持查询优化，可以获取更好的执行性能，因为它的底层有一个优化器，跟`SQL`底层有优化器是一样的。  
 **【3】流批统一：** 相同的统计逻辑，即可以流模型运行，也可以批模式运行；  
 **【4】标准稳定：** 语义遵循`SQL`标准，不易改动。当升级等底层修改，不用考虑`API`兼容问题；  
 **【5】易理解：** 语义明确，所见即所得；


### Table API 特点


`Table API`使得多声明的数据处理写起来比较容易。

1 #例如，我们将a<10的数据过滤插入到xxx表中
2 table.filter(a<10).insertInto(“xxx”)
3 #我们将a>10的数据过滤插入到yyy表中
4 table.filter(a>10).insertInto(“yyy”)


`Talbe`是`Flink`自身的一种`API`使得更容易扩展标准的`SQL`（当且仅当需要的时候），两者的关系如下：  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/0a45d92bfaf14c2481b3809b67e4170e.png)


### Table API 编程


`WordCount`编程示例

package org.apache.flink.table.api.example.stream;

import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.api.java.StreamTableEnvironment;
import org.apache.flink.table.descriptors.FileSystem;
import org.apache.flink.table.descriptors.OldCsv;
import org.apache.flink.table.descriptors.Schema;
import org.apache.flink.types.Row;

public class JavaStreamWordCount {

public static void main(String[] args) throws Exception {
            //获取执行环境：CTRL + ALT + V
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    StreamTableEnvironment tEnv = TableEnvironment.getTableEnvironment(env);
            //指定一个路径
    String path = JavaStreamWordCount.class.getClassLoader().getResource("words.txt").getPath();
            //指定文件格式和分隔符，对应的Schema(架构）这里只有一列，类型是String
    tEnv.connect(new FileSystem().path(path))
        .withFormat(new OldCsv().field("word", Types.STRING).lineDelimiter("\n"))
        .withSchema(new Schema().field("word", Types.STRING))
        .inAppendMode()
        .registerTableSource("fileSource");//将source注册到env中
            //通过 scan 拿到table，然后执行table的操作。
    Table result = tEnv.scan("fileSource")
        .groupBy("word")
        .select("word, count(1) as count");
            //将table输出
    tEnv.toRetractStream(result, Row.class).print();
            //执行
    env.execute();
}

}


### 怎么定义一个 Table


`Table myTable = tableEnvironment.scan("myTable")` 都是从`Environment`中`scan`出来的。而这个`myTable` 又是我们注册进去的。问题就是有哪些方式可以注册`Table`。  
 **【1】Table descriptor：** 类似于上述的`WordCount`，指定一个文件系统`fs`，也可以是`kafka`等，还需要一些格式和`Schema`等。

tEnv.connect(new FileSystem().path(path))
.withFormat(new OldCsv().field(“word”, Types.STRING).lineDelimiter(“\n”))
.withSchema(new Schema().field(“word”, Types.STRING))
.inAppendMode()
.registerTableSource(“fileSource”);//将source注册到env中


**【2】自定义一个 Table source：** 然后把自己的`Table source`注册进去。

TableSource csvSource = new CsvTableSource(path,new String[]{“word”},new TypeInformation[]{Types.STRING});
tEnv.registerTableSource(“sourceTable2”, csvSource);


**【3】注册一个 DataStream：** 例如下面一个`String`类型的`DataStream`，命名为`myTable3`对应的`schema`只有一列叫`word`。

DataStream stream = …
// register the DataStream as table " myTable3" with
// fields “word”
tableEnv.registerDataStream(“myTable3”, stream, “word”);


### 动态表


如果流中的数据类型是`case class`可以直接根据`case class`的结构生成`table`

tableEnv.fromDataStream(ecommerceLogDstream)


或者根据字段顺序单独命名：用单引放到字段前面来标识字段名。

tableEnv.fromDataStream(ecommerceLogDstream,'mid,'uid …)


最后的动态表可以转换为流进行输出，如果不是简单的插入就使用`toRetractStream`

table.toAppendStream[(String,String)]


### 如何输出一个table


当我们获取到一个结构表的时候（`table`类型）执行`insertInto`目标表中：`resultTable.insertInto("TargetTable");`


**【1】Table descriptor：** 类似于注入，最终使用Sink进行输出，例如如下输出到`targetTable`中，主要是最后一段的区别。

tEnv
.connect(new FileSystem().path(path)).withFormat(new OldCsv().field(“word”, Types.STRING)
.lineDelimiter(“\n”)).withSchema(new Schema()
.field(“word”, Types.STRING))
.registerTableSink(“targetTable”);


**【2】自定义一个 Table sink：** 输出到自己的 sinkTable2注册进去。

TableSink csvSink = new CsvTableSink(path,new String[]{“word”},new TypeInformation[]{Types.STRING});
tEnv.registerTableSink(“sinkTable2”, csvSink);


**【3】输出一个 DataStream：** 例如下面产生一个`RetractStream`，对应要给`Tuple2`的联系。`Boolean`这行记录时`add`还是`delete`。如果使用了`groupby`，`table` 转化为流的时候只能使用`toRetractStream`。得到的第一个`boolean`型字段标识 `true`就是最新的数据(`Insert`)，`false`表示过期老数据(`Delete`)。如果使用的`api`包括时间窗口，那么窗口的字段必须出现在`groupBy`中。

// emit the result table to a DataStream
DataStream<Tuple2<Boolean, Row>> stream = tableEnv.toRetractStream(resultTable, Row.class)
stream.filter(_._1).print()


**案例代码：**

package com.zzx.flink

import java.util.Properties

import com.alibaba.fastjson.JSON
import org.apache.flink.api.common.serialization.SimpleStringSchema
import org.apache.flink.streaming.api.TimeCharacteristic
import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.windowing.time.Time
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer011
import org.apache.flink.table.api.java.Tumble
import org.apache.flink.table.api.{StreamTableEnvironment, Table, TableEnvironment}

object FlinkTableAndSql {
def main(args: Array[String]): Unit = {
//执行环境
val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
//设置时间特定为 EventTime
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)

//读取数据 MyKafkaConsumer 为自定义的 kafka 工具类,并传入 topic
val dstream: DataStream[String] = env.addSource(MyKafkaConsumer.getConsumer("FLINKTABLE&SQL"))

//将字符串转换为对象
val ecommerceLogDstream:DataStream[SensorReding] = dstream.map{
 /\* 引入如下依赖

com.alibaba fastjson 1.2.36 \*/ //将 String 转换为 SensorReding jsonString => JSON.parseObject(jsonString,classOf[SensorReding]) }

//告知 watermark 和 evetTime如何提取
val ecommerceLogWithEventTimeDStream: DataStream[SensorReding] =ecommerceLogDstream.assignTimestampsAndWatermarks(
      new BoundedOutOfOrdernessTimestampExtractor[SensorReding](Time.seconds(0)) {
  override def extractTimestamp(t: SensorReding): Long = {
    t.timestamp
  }
})
//设置并行度
ecommerceLogDstream.setParallelism(1)

//创建 Table 执行环境
val tableEnv: StreamTableEnvironment = TableEnvironment.getTableEnvironment(env)
var ecommerceTable: Table = tableEnv.fromTableSource(ecommerceLogWithEventTimeDStream ,'mid,'uid,'ch,'ts.rowtime)

//通过 table api进行操作
//每10秒统计一次各个渠道的个数 table api解决
//groupby window=滚动式窗口 用 eventtime 来确定开窗时间
val resultTalbe: Table = ecommerceTable.window(Tumble over 10000.millis on 'ts as 'tt).groupBy('ch,'tt).select('ch,'ch.count)
var ecommerceTalbe: String = "xxx"
//通过 SQL 执行
val resultSQLTable: Table = tableEnv.sqlQuery("select ch,count(ch) from "+ ecommerceTalbe +"group by ch,Tumble(ts,interval '10' SECOND")

//把 Table 转化成流输出
//val appstoreDStream: DataStream[(String,String,Long)] = appstoreTable.toAppendStream[(String,String,Long)]
val resultDStream: DataStream[(Boolean,(String,Long))] = resultSQLTable.toRetractStream[(String,Long)]
//过滤
resultDStream.filter(_._1)
env.execute()

}
}
object MyKafkaConsumer {
def getConsumer(sourceTopic: String): FlinkKafkaConsumer011[String] ={
val bootstrapServers = “hadoop1:9092”
// kafkaConsumer 需要的配置参数
val props = new Properties
// 定义kakfa 服务的地址，不需要将所有broker指定上
props.put(“bootstrap.servers”, bootstrapServers)
// 制定consumer group
props.put(“group.id”, “test”)

// 是否自动确认offset
props.put(“enable.auto.commit”, “true”)
// 自动确认offset的时间间隔
props.put(“auto.commit.interval.ms”, “1000”)
// key的序列化类
props.put(“key.deserializer”, “org.apache.kafka.common.serialization.StringDeserializer”)
// value的序列化类
props.put(“value.deserializer”, “org.apache.kafka.common.serialization.StringDeserializer”)
//从kafka读取数据,需要实现 SourceFunction 他给我们提供了一个
val consumer = new FlinkKafkaConsumer011[String](sourceTopic, new SimpleStringSchema, props)
consumer
}
}


### 关于时间窗口


【1】用到时间窗口，必须提前声明时间字段，如果是`processTime`直接在创建动态表时进行追加就可以。如下的`ps.proctime`。

val ecommerceLogTable: Table = tableEnv
.fromDataStream( ecommerceLogWithEtDstream,
mid,uid,appid,area,os,ps.proctime )


【2】如果是`EventTime`要在创建动态表时声明。如下的`ts.rowtime`。

val ecommerceLogTable: Table = tableEnv
.fromDataStream( ecommerceLogWithEtDstream,
'mid,'uid,'appid,'area,'os,'ts.rowtime)


【3】**滚动窗口**可以使用`Tumble over 10000.millis on`来表示





### 给大家的福利


**零基础入门**


对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。


![](https://img-blog.csdnimg.cn/img_convert/95608e9062782d28f4f04f821405d99a.png)


同时每个成长路线对应的板块都有配套的视频提供：


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a91b9e8100834e9291cfcf1695d8cd42.png#pic_center)


因篇幅有限，仅展示部分资料

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618540462)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

的视频提供：


![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a91b9e8100834e9291cfcf1695d8cd42.png#pic_center)


因篇幅有限，仅展示部分资料

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/topics/618540462)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

2401_84302507

关注

16
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
2024年最新Flink Table API 与 SQL 编程整理(1)，阿里架构师经验分享

/将source注册到env中。//从kafka读取数据,需要实现 SourceFunction 他给我们提供了一个。//将 String 转换为 SensorReding。// 定义kakfa 服务的地址，不需要将所有broker指定上。// kafkaConsumer 需要的配置参数。//设置时间特定为 EventTime。// 制定consumer group。// 自动确认offset的时间间隔。// 是否自动确认offset。// value的序列化类。// key的序列化类。
复制链接

扫一扫