文章目录Table API的Window操作Group Windows时间语义的设定和watermark的生成分组滚动窗口方式一：Table API的实现方式二：SQL实现完整示例分组滑动窗口方式一：Table Api实现方式二：SQL实现分组会话窗口方式一:Table API 实现方式二：SQL实现OverWindow方式一：Table Api实现方式二：SQL实现Flink Table的函数和UDF常用的系统内置函数数学计算函数字符串处理函数时间处理函数类型转换函数自定义函数UDF标量函数 Scalar

文章目录Table Api的常用操作创建表环境从datastream创建一张表指定主键字段取别名提取时间字段（用于timewindow）Watermark创建临时视图创建临时表或者表查询操作查询选取其中某些列distinct去重查询过滤filter分组聚合Table Api的常用操作创建表环境//构建环境val env = StreamExecutionEnvironment.getExecutionEnvironment//构建table环境val tableEnvironmentSetti

文章目录创建表环境创建表从DataStream创建表使用tableAPI定义表结构使用SQL创建表结构FLINK-SQL的数据类型语法：Formats:CSV格式表JSON格式表Raw 格式表Orc 格式表使用SQL在kafka中创建表依赖SQL语句kafka参数说明使用SQL在Elasticsearch中创建表使用SQL创建JDBC表完整示例从Kafka读取数据，做转换后，将结果插入到kafka创建表环境//创建tableSettingval tableEnvironmentSettings =

文章目录一致性级别端到端(end-to-end)状态一致性Sink端实现方式幂等写入事务性(Transactional)写入不同Source和Sink的一致性保证Flink CheckpointFlink的checkpoint的生成算法图解SavepointsFlink开启checkpoint的API操作FLink的状态后端MemoryStateBackendFsStateBackendRocksDBStateBackend一致性级别在流处理中，一致性可以分为如下3个级别：at-most-once：

文章目录概述无状态流计算有状态流计算状态分类：算子状态(Operator State)键控状态(Keyed State)ValueState[T]ListState[T]MapState[KU,VU]ReducingState[T]AggregatingState[I, O] 聚合状态状态运用编程实例概述流式计算分为无状态和有状态两种情况。无状态流计算无状态的计算观察每个独立事件，并根据最后一个事件输出结果。无状态流处理过程如下：无状态流每次只转换处理一条输入记录，并且只根据最新的输入记录输出

文章目录概述KeyedProcessFunctionTimerService和定时器ProcessFunction实现侧输出流概述Flink中的转换算子是无法访问事件的时间戳信息和水位线信息，但是在一些应用场景下，这些信息却十分重要。基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function用来构建时间驱动的应用以及实现用户自定义的业务逻辑。Flink 提供

文章目录时间语义Event Time 事件时间Ingestion Time:Processing Time:处理时间WaterMark时间语义基于时间的窗口分配器既可以处理数据的**“事件时间”也可以处理数据的“处理时间”**(Flink处理数据的那一个时间点)。Event Time 事件时间它通常由事件中的时间戳描述，例如采集的日志数据，每一条记录都会记录自己的生成时间，Flink通过时间戳分配器访问时间时间戳。env.setStreamTimeCharacteristic(TimeChara

文章目录WindowWindow的作用Window的类型滚动窗口（Tumbling Window）滑动窗口会话窗口Flink的内置窗口分配器Tumbling time windows 滚动时间窗口Sliding time windows 滑动时间窗口Tumbling count windows 滚动窗口Sliding count windows 滑动窗口Session windows 会话窗口Global window 全局窗口窗口应用函数增量聚合函数（incremental aggregation fu

文章目录文件SinkKafkaSinkElasticSearchSinkRedis SinkJDBC Sink文件Sink从Kafka中读取数据，数据做转换后，并将数据写入到文件中package com.hjt.yxh.hw.apitestimport org.apache.flink.api.common.eventtime.WatermarkStrategyimport org.apache.flink.api.common.serialization.{SimpleStringEncode

文章目录集群规划环境准备、kafka安装包下载解压配置文件server.properties启动器群kafka-topics.sh操作创建topic查看topic列表查看指定topic的具体信息删除topic运行一个productor，发送消息运行一个consumer，接收消息集群规划Host | ip|—|—|—k8s-node3 | 192.168.0.52 |k8s-node5 | 192.168.0.109 |k8s-node8 | 192.168.0.115 |环境准备、安装好J

文章目录集群规划1、下载安装包2、解压文件3.配置Flinkmasters文件workersflink-conf.yaml环境变量启动集群集群规划机器名称IP角色k8s-node3192.168.0.52masterk8s-node5192.168.0.52slavek8s-node8192.168.0.52slave1、下载安装包下载对应scala版本的flink，1.14支持hadoop2.X以上的版本在K8s-node3服务器上执行操作：w

文章目录idea新建maven项目，配置scala环境配置pom.xmlFlink 批处理运行时如果出现的报错:Flink流处理scala代码可能遇到的问题提交作业命令行模式提交作业：WEB端提交作业idea新建maven项目，配置scala环境File–>Project Structure -->Modules，添加scala依赖库配置pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http

文章目录mapflatMapfilterkeyBy与滚动聚合算子keyBy与reduce分流 split和Select合流UnionConnectCoMapCoFlatMapmap说明: 一个输入对应一个输出示例代码:package com.hjt.yxh.apitestimport org.apache.flink.api.common.functions.{FilterFunction, FlatMapFunction, MapFunction, ReduceFunction}import

文章目录1.从集合或者Elements中读取数据2.从文件中读取数据流3.从Kafka中读取数据流4.自定义Source一个Flink程序主要由Source + TransForm + Sink这三大部分组成，下面主要总结常见的Source的API操作1.从集合或者Elements中读取数据package com.hjt.yxh.hw.apitestimport org.apache.flink.api.scala._import org.apache.flink.streaming.api.