Flink 学习笔记

目录

概述：

基操

wordcount

运行架构：

yarn模式

flink流处理api

Transform

flink支持类型

sink

window

watermark

底层api ProcessFunction

侧输出流

状态编程和容错机制

容错机制：

状态一致性：

flink和kafka端到端一致性

Table api 和 Flink sql

时间语义

---

概述：

基操

wordcount

批处理：

流处理：

    

运行架构：

 

yarn模式

flink流处理api

也可以自定义sourcefunction类，不过需要重写方法。

Transform

flink支持类型

sink

输出途径很多，重点关注kafka。

window

watermark

还迟到的数据可以放进侧输出流。

自定义watermark

底层api ProcessFunction

侧输出流

状态编程和容错机制

容错机制：

状态一致性：

flink和kafka端到端一致性

Table api 和 Flink sql

从文件读取：

从kafka读取：

表的查询：

输出到kafka：

时间语义

窗口：

函数：