FLINK流式概念

FLINK流式概念整理
–动态表

1、将流转换为动态表。
2、在动态表上计算一个连续查询，生成一个新的动态表。
3、生成的动态表被转换回流。

–时间属性
时间属性可以像普通的时间戳的列一样被使用和计算。
一旦时间属性被用在了计算中，它就会被物化，进而变成一个普通的时间戳。
普通的时间戳是无法跟 Flink 的时间以及watermark等一起使用的，所以普通的时间戳就无法用在时间相关的操作中。–注意列计算避免使用时间属性字段

--处理时间
概念：处理时间是基于机器的本地时间来处理数据，它是最简单的一种时间概念，但是它不能提供确定性。它既不需要从数据里获取时间，也不需要生成 watermark。
	--创建一个表生成一列为处理时间，proctime属性列上定义窗口 需要在流模式上,mysql 是批模式
			CREATE TABLE table_name (
			aaa INT,
			bbb INT,
			ccc INT,
			time_str TIMESTAMP(3),
			ARRS  VARCHAR(5),
			WATERMARK FOR time_str AS time_str,		--时间时间列  事件属性的数据类型必须是 TIMESTAMP(3) 
			--WATERMARK FOR time_str AS time_str - INTERVAL '1' MINUTE
			--WATERMARK FOR time_str AS time_str - INTERVAL '0.5' HOUR
			new_time_str as proctime() 	--处理时间属性
		) WITH (
		...
			)

--事件时间
概念：事件时间属性可以用 WATERMARK 语句在 CREATE TABLE DDL 中进行定义。WATERMARK 语句在一个已有字段上定义一个 watermark 生成表达式，同时标记这个已有字段为时间属性字段
      使用事件时间语义时，表必须包含事件时间属性和 watermark 策略

–水印的几种策略
1、严格递增时间戳： WATERMARK FOR rowtime_column AS rowtime_column。

发出到目前为止已观察到的最大时间戳的 watermark ，时间戳大于最大时间戳的行被认为没有迟到。、

2、递增时间戳： WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL ‘0.001’ SECOND。

发出到目前为止已观察到的最大时间戳减 1 的 watermark ，时间戳大于或等于最大时间戳的行被认为没有迟到。

3、有界乱序时间戳： WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL ‘string’ timeUnit。

发出到目前为止已观察到的最大时间戳减去指定延迟的 watermark ，例如， WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL ‘5’ SECOND 是一个 5 秒延迟的 watermark 策略。

—一般用到数据流 就直接用事件时间属性就好了

–时态表

时态表（Temporal Table）是一张随时间变化的表 – 在 Flink 中称为动态表
时态表可以分为 版本表 和 普通表。
版本表: 如果时态表中的记录可以追踪和并访问它的历史版本，这种表我们称之为版本表，来自数据库的 changelog 可以定义成版本表。 --类似 缓慢变化维之拉链表 这里是快速随着时间变化的
普通表: 如果时态表中的记录仅仅可以追踪并和它的最新版本，这种表我们称之为普通表，来自数据库 或 HBase 的表可以定义成普通表。 --记录的是最新的数据

–定义一个版本表
在 Flink 中，定义了主键约束和事件时间属性的表就是版本表。
– 视图的逻辑是一样的，定义了主键约束和事件时间属性的表就是版本视图
CREATE TABLE table_name (
aaa INT,
bbb INT,
ccc INT,
time_str TIMESTAMP(3),
ARRS VARCHAR(5),
WATERMARK FOR time_str AS time_str, --时间时间列 事件属性的数据类型必须是 TIMESTAMP(3)
–WATERMARK FOR time_str AS time_str - INTERVAL ‘1’ MINUTE
–WATERMARK FOR time_str AS time_str - INTERVAL ‘0.5’ HOUR
new_time_str as proctime(), --处理时间属性
PRIMARY KEY(aaa) NOT ENFORCED
) WITH (
…
)

–算是整理官方文档流式概念的一些笔记