HR的博客

自定义函数内置函数UDF注册用户自定义函数 UDF标量函数表函数聚合函数表聚合函数Flink Table和 SQL内置了很多 SQL 中支持的函数；如果有无法满足的需要，则可以实 现用户自定义的函数（UDF）来解决。内置函数Flink Table API 和 SQL为用户提供了一组用于数据转换的内置函数。SQL中支持的很多 函数，Table API和SQL都已经做了实现，其它还在快速开发扩展中。以下是一些典型函数的举例比较函数SQLTable APIvalue1 = val.

窗口窗口Group WindowsTumbling WindowsSliding WindowsSession WindowsOver WindowsSQL中的Group WindowsSQL中的Over Windows窗口Group WindowsGroup Windows是使用 window（w:GroupWindow）子句定义的，并且必须由as子句指定一个别名。为了按窗口对表进行分组，窗口的别名必须在 group by 子句中，像常规的分组字段一样引用Table table = input.

Table API和Flink SQL整体介绍API的调用执行环境的创建读取数据将 DataStream 转换成表数据的输出更新模式流处理中的特殊概念流处理和关系代数的区别动态表流式持续查询的过程将动态表转换成流时间特性处理时间（`rocessing Time`）事件时间（Event Time）整体介绍Flink 本身是批流统一的处理框架，所以Table API和 SQL，就是批流统一的上层处理 API。 目前功能尚未完善，处于活跃的开发阶段。 Table API是一套内嵌在 Java和 Scala语.

Flink状态管理Flink状态管理Flink中的状态有状态的算子和应用程序算子状态键控状态（keyed state）键控状态的代码实现状态编程实例Flink状态管理Flink中的状态由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态可以认为状态就是一个本地变量，可以被任务的业务逻辑访问Flink会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑再Flink中，状态始终与特定算子相关联为了使运行时的Flink了解算子的状态，算.

Process Function API（底层）Process Function API（底层）Keyed Process FunctionTimer Service和定时器（Timers）侧输出流（Side Output）Process Function API（底层）我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这 在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问 时间戳或者当前事件的事件时间。基于此，DataStream API提供了一系.

时间语义和Watermark时间语义Flink中的时间语义Event Time的引入Waterkmark（水位线）基本概念理解案例Watermark的导入自定义生成watermark时间语义Flink中的时间语义在Flink的流式处理中，会涉及到时间的不同概念，如下图所示：Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的 日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事 件时间戳。Ingestion Time：是数据进入 Flink.

window APIwindow APIWindow 概述window窗口的分类Window的使用测试window APIWindow 概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限 数据集是指一种不断增长的本质上无限的数据集，而window 是一种切割无限数据 为有限块进行处理的手段。 Window是无限数据流处理的核心，Window将一个无限的 stream拆分成有限大 小的”buckets”桶，我们可以在这些桶上做计算操作。一般真实的流都是无界的，.

Flink程序连接Kafka没输出也不报错本人最近在使用Kafka作为数据源输出数据到Flink时遇到一个问题，那就是既没有结果输出，也没有报错代码如下package Sourceimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flin

Flink流处理APIEnvironmentSource从集合读取数据从文件读取数据从Kafka读取数据自定义Source转换算子Transformmap算子flatMap算子Filter算子keyBy算子滚动聚合算子reducespilt和select算子collect和CoMap算子Union算子Environment创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，get

本文学习于尚硅谷的视频：B站视频Flink的简介和项目的搭建初识FlinkFlink的重要特点事件驱动型流与批的世界观分层API项目的搭建批处理初识FlinkFlink 起源于 Stratosphere项目，Stratosphere是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache软 件 基 金 会 ， 参 加 这 个 孵 化 项 目 的 初 始 成 .