涂作权的博客

1.34.FlinkX1.34.1.什么是FlinkX1.34.2.工作原理1.34.3.快速起步1.34.3.1.运行模式1.34.3.2.执行环境1.34.3.3.打包1.34.3.4.启动1.34.3.4.1.命令行参数选项1.34.3.4.2.启动数据同步1.34.4.数据同步任务模板1.34.4.1.setting1.34.4.1.1.speed1.34.4.1.2.errorLimit1.34.4.1.3.dirty1.34.4.1.4.restore1.34.4

1.33.Flink CDC案例1.33.1.官方介绍1.33.1.1.Table/SQL API的语法1.33.1.2.DataStream API的用法1.33.1.3.Building from source1.33.2.Flink CDC案例1.33.2.1.pom.xml定义1.33.2.2.案例11.33.2.3.案例21.33.2.4.案例3Flink CDC连接器是一组用于Apache Flink的source connectors，使用更改数据捕获(CDC)从不同的数据库

1.31.Flink自定义rocketmq(source/sink)+自定义redis+自定义1.31.1.工程结构1.31.2.定义pom.xml文件1.31.3.log4j2.properties1.31.4.logback.xml1.31.5.cache.properties1.31.6.project-config.properties1.31.7.IssueAcceptSimpleProducer.java1.31.8.Consumer.java1.31.9.DefaultTop

1.30.Flink SQL案例将Kafka数据写入hive1.30.1.1.场景，环境，配置准备1.30.1.2.案例代码1.30.1.2.1.编写pom.xml文件1.30.1.2.2.Maven工程resources下编写配置文件log4j2.properties1.30.1.2.3.Maven工程resources下编写配置文件logback.xml1.30.1.2.4.Maven工程resources下编写配置文件project-config-test.properties1.30.

1.27.Flink实时性、容错机制、窗口等介绍1.27.1.问题导读1.28.内幕1.28.1.作业调度1.28.1.1.调度1.28.1.2.JobManager数据结构1.29.Flink和Hive整合1.29.1.概述1.29.2.支持的Hive版本1.29.3.依赖项1.29.3.1.使用 Flink 提供的 Hive jar1.29.3.2.用户定义的依赖项1.29.3.3.Maven依赖1.29.3.4.连接到Hive1.为什么flink实时性好？2.flink通过

1.22.揭开Watermark的神秘面纱1.22.1.问题导读1.22.2.流数据异常该怎么办：1.22.2.1.Flink窗口(Window)1.22.2.2.事件时间1.22.3.watermark有什么用？1.22.4.如何使用Watermarks处理乱序的数据流？1.23.Watermark机制及实例详解1.24.Watermark生成方式1.25.Watermark代码实例1.26.Watermark的案例以下转自：https://www.aboutyun.com/threa

1.21.Flink Slot和并行度(parallelism)1.21.1.Flink的并行度由什么决定的？1.21.2.Flink的task是什么？1.21.3.slot和parallelism1.21.3.1.slot是指taskmanager的并发执行能力1.21.3.2.parallelism是可配置、可指定的1.21.4.slot和parallelism总结Flink运行时主要角色有两个：JobManager和TaskManager，无论是standalone集群，flink on

1.20.透过窗口看无限数据流----Flink的Window全面解析1.20.1.Quick Start1.20.1.1.是什么？1.20.1.2.如何用？1.20.1.2.1.Keyed Windows1.20.1.2.2.Non-Keyed Windows1.20.1.2.3.简写window操作1.20.2.Window Assigners1.20.2.1.分类1.20.2.2.使用介绍1.20.2.2.1.Tumbling Windows1.20.2.2.2.Sliding

1.19.11.SQL客户端1.19.11.1.入门1.19.11.2.启动SQL客户端命令行界面1.19.11.3.执行SQL查询1.19.11.4.配置1.19.11.5.环境配置文件1.19.11.5.1.重启策略1.19.11.6.依赖1.19.11.7.自定义函数（User-defined Functions）1.19.11.7.1.构造函数参数1.19.11.8.Catalogs1.19.11.9.分离的 SQL 查询1.19.11.10.SQL视图1.19.11.11

1.19.10.Flink SQL工程案例1.19.10.1.编写Pom.xml文件1.19.10.2.java案例1.19.10.3.案例1：Flink批式处理(建表、查询、插入、jdbc connector的使用)1.19.10.4.案例2：StreamTableEnvironment的使用案例+数据模拟+自定义函数及其应用1.19.10.5.案例3：StreamTableEnvironment应用+blink/Flink SQL应用1.19.10.6.案例4：Flink SQL之Strea

1.19.9.函数1.19.9.1.概览1.19.9.1.1.函数引用1.19.9.1.2.精确函数引用1.19.9.1.3.模糊函数引用1.19.9.1.4.函数解析顺序1.19.9.1.5.精确函数引用1.19.9.1.6.模糊函数引用1.19.9.2.自定义函数1.19.9.2.1.准备工作1.19.9.2.2.概述1.19.9.2.3.开发指南1.19.9.2.3.1.函数类1.19.9.2.3.2.求值方法1.19.9.2.4.标量函数1.19.9.2.5.表值函数

1.19.7.Table API1.19.8.SQL1.19.8.1.概述1.19.8.1.1.SQL1.19.8.1.2.数据类型1.19.8.1.3.保留关键字1.19.8.2.查询语句1.19.8.2.1.指定查询1.19.8.2.2.执行查询1.19.8.2.3.语法1.19.8.2.4.操作符1.19.8.2.5.无排名输出优化1.19.8.2.6.去重1.19.8.2.7.分组窗口1.19.8.2.7.1.时间属性1.19.8.2.7.2.选择分组窗口的开始和结束时

1.19.6.数据类型1.19.6.1.数据类型1.19.6.1.1.Table API的数据类型1.19.6.1.1.1.物理提示1.19.6.2.Planner兼容性1.19.6.3.旧的Planner1.19.6.4.新的 Blink Planner1.19.6.5.局限性1.19.6.6.数据类型列表1.19.6.6.1.字符串1.19.6.6.1.1.CHAR1.19.6.6.1.2.VARCHAR / STRING1.19.6.6.2.二进制字符串1.19.6.6.2.

Join 在批数据处理中是比较常见且广为人知的运算，一般用于连接两张关系表。然而在动态表中 Join 的语义会难以理解甚至让人困惑。因而，Flink 提供了几种基于 Table API 和 SQL 的 Join 方法。欲获取更多关于 Join 语法的细节，请参考 Table API 和 SQL 中的 Join 章节。常规 Join 是最常用的 Join 用法。在常规 Join 中，任何新记录或对 Join 两侧表的任何更改都是可见的，并会影响最终整个 Join 的结果。例如，如果 Join 左侧插入了一条新

1.19.5.3.时态表（Temporal Tables）1.19.5.3.1.设计初衷1.19.5.3.1.1.关联一张版本表1.19.5.3.1.2.关联一张普通表1.19.5.3.2.时态表1.19.5.3.2.1.声明版本表1.19.5.3.2.2.声明版本视图1.19.5.3.2.3.声明普通表1.19.5.3.3.时态表函数1.19.5.3.3.1.定义时态表函数时态表（Temporal Table）是一张随时间变化的表 – 在Flink中称为动态表，时态表中的每条记录都关联了

1.19.5.2.时间属性1.19.5.2.1.时间属性介绍1.19.5.2.2.事件时间1.19.5.2.2.1.在DDL中定义1.19.5.2.2.2.在DataStream 到 Table 转换时定义1.19.5.2.2.3.使用TableSource定义Flink可以基于几种不同的 “时间”概念来处理数据。处理时间 指的是执行具体操作时的机器时间（也称作”挂钟时间”）事件时间 指的是数据本身携带的时间。这个时间是在事件产生时的时间。摄入时间 指的是数据进入Flink 的时间；在

1.18.5.流式概念1.18.5.1.动态表（Dynamic Table）1.18.5.1.1.DataStream上的关系查询1.18.5.1.2.动态表 & 连续查询(Continuous Query)1.18.5.1.3.在流上定义表1.18.5.1.4.连续查询1.18.5.1.5.处理时间1.18.5.1.5.1.在创建表的DDL中定义1.18.5.1.5.2.在DataStream到Table转换时定义1.18.5.1.5.3.使用TableSource定义1.18

1.18.3.Flink Catalog介绍1.18.3.1.引言1.18.3.2.Catalog 定义1.18.3.3.Catalog 的实现1.18.3.4.Catalog 使用举例1.18.3.Flink Catalog介绍1.18.3.1.引言以下转自：http://legendtkl.com/2020/07/26/flink-catalog/这篇文章我们介绍了一下 Flink 的 Catalog，基于 Flink 1.11，熟悉 Flink 或者 Spark 等大数据引擎的同学应该

1.18.2.10.解释表Table API 提供了一种机制来解释计算 Table 的逻辑和优化查询计划。 这是通过 Table.explain() 方法或者 StatementSet.explain() 方法来完成的。Table.explain() 返回一个 Table 的计划。StatementSet.explain() 返回多 sink 计划的结果。它返回一个描述三种计划的字符串：关系查询的抽象语法树（the Abstract Syntax Tree），即未优化的逻辑查询计划优化的逻辑查询计

1.18.2.9.查询优化1.18.2.9.1.Blink planner1.18.2.10.解释表1.18.2.9.查询优化1.18.2.9.1.Blink plannerApache Flink使用并扩展了Apache Calcite来执行复杂的查询优化。 这包括一系列基于规则和成本的优化，例如：基于Apache Calcite的子查询解相关投影剪裁分区剪裁过滤器下推子计划消除重复数据以避免重复计算特殊子查询重写，包括两部分将 IN 和 EXISTS 转换为 lef

1.18.2.8.与DataStream和DataSet API结合1.18.2.8.1.Scala隐式转换1.18.2.8.2.通过DataSet或DataStream创建视图1.18.2.8.3.将DataStream或DataSet转换成表1.18.2.8.4.将表转换成DataStream或DataSet1.18.2.8.5.将表转换成DataStream1.18.2.8.5.1.将表转换成DataSet1.18.2.8.6.数据类型到Table Schema的映射1.18.2.8.

0x00 摘要对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。0x01 问题关于Watermark，很容易产生几个问题Flink 流处理应用中，常见的处理需求/应对方案是什么?Watermark究竟应该翻译成水印还是水位线？Watermark本质是什么?Watermark是如何解决问题?下面我们就来简要解答这些问题以给大家一个大致概念，在后文中，会再深入描述。问题1. Flink 流处理应用中常

Flink On Yarn模式原理为什么使用Flink On Yarn?在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下：-1.Yarn的资源可以按需使用，提高集群的资源利用率-2.Yarn的任务有优先级，根据优先级运行作业-3.基于Yarn调度系统，能够自动化地处理各个角色的 Failover(容错)○ JobManager 进程和 TaskManager 进程都由 Yarn NodeManager 监控○ 如果 JobManager 进程异常退出，

1.18.2.5.查询表1.18.2.5.1.Table API1.18.2.5.2.SQL1.18.2.5.3.混用Table API和SQL1.18.2.6.输出表1.18.2.7.翻译与执行查询1.18.2.7.1.Blink planner1.18.2.7.2.Old planner1.18.2.5.查询表1.18.2.5.1.Table APITable API 是关于 Scala 和 Java 的集成语言式查询 API。与 SQL 相反，Table API 的查询不是由字符串

1.18.2.概念与通用API1.18.2.1.两种计划器（Planner）的主要区别：1.18.2.2.Table API和SQL程序的结构1.18.2.3.创建 TableEnvironment1.18.2.4.在Catalog中创建表1.18.2.4.1.临时表（Temporary Table）和永久表（Permanent Table）1.18.2.4.1.1.屏蔽（Shadowing）1.18.2.4.2.创建表1.18.2.4.2.1.虚拟表1.18.2.4.2.2.Connec

1.18.Table API & SQL1.18.1.概念1.18.1.1.依赖图1.18.1.2.Table程序依赖1.18.1.3.扩展依赖1.18.Table API & SQL1.18.1.概念Apache Flink 有两种关系型 API 来做流批统一处理：Table API 和 SQL。Table API 是用于 Scala 和 Java 语言的查询API，它可以用一种非常直观的方式来组合使用选取、过滤、join 等关系型算子。Flink SQL 是基于 Apach

1.17.Flink 并行度详解(Parallel)1.17.1.TaskManager与Slot1.17.2.TaskManager与Slot1.17.3.并行度(Parallel)1.17.4.并行度（Parallel）的设置1.17.4.1.并行度设置之Operator Level1.17.4.2.并行度设置之Execution Environment Level1.17.4.3.并行度设置之Client Level1.17.4.4.并行度设置之System Level1.17.Fl

1.16.Flink Window和Time详解1.16.1.Window(窗口)1.16.2.Window的类型1.16.3.Window类型汇总1.16.4.TimeWindow的应用1.16.5.CountWindow的应用1.16.6.Window聚合分类1.16.7.Window聚合分类之增量聚合1.16.7.1.增量聚合状态变化过程-累加求和1.16.7.2.reduce(reduceFunction)1.16.7.3.aggregate(aggregateFunction)

1.15.Flink state(状态)管理与恢复1.15.1.什么是state1.15.2.状态（State）1.15.3.Keyed State1.15.4.Operator State1.15.4.1.Snapshotting Operator State1.15.5.状态容错1.15.6.状态容错-生成快照1.15.7.状态容错–恢复快照1.15.8.checkPoint简介1.15.8.1.Barriers1.15.8.2.Recovery1.15.9.CheckPoint

1.13.Flink 支持的DataType和序列化1.13.1.Flink支持的DataType1.13.2.Flink的序列化1.14.Flink Broadcast & Accumulators & Counters &Distributed Cache1.14.1.DataStreaming中的Broadcast1.14.2.Flink Broadcast(广播变量)1.14.3.Flink Accumulators & Counters1.14.4.F

1.12.Flink Kafka-Connector详解1.12.1.Kafka Consumer消费策略设置1.12.2.Kafka Consumer的容错1.12.3.动态加载Topic1.12.4.Kafka Consumers Offset 自动提交1.12.5.Kafka Producer1.12.6.Kafka Producer的容错-Kafka 0.9 and 0.101.12.7.Kafka Producer的容错-Kafka 0.111.12.Flink Kafka-Con

1.11.Flink DataSetAPI1.11.1.DataSet API之Data Sources1.11.2.DataSet API之Transformations1.11.3.DataSet Sink部分详解1.11.Flink DataSetAPI1.11.1.DataSet API之Data Sources基于文件readTextFile(path)基于集合fromCollection(Collection)1.11.2.DataSet API之Transformat

1.10.Flink DataStreamAPI1.10.1.Flink API的抽象级别1.10.2.DatSource部分详解1.10.2.1.DataStream API之Data Sources1.10.2.2.DataSources API1.10.2.3.DataStream内置connectors1.10.2.4.Source容错性保证1.10.2.5.Sink容错性保证1.10.2.6.自定义sink1.10.2.7.Table & SQL Connectors1

本文转自：https://www.pianshen.com/article/82411282368/StreamTableEnvironment用于流计算场景，流计算的对象是DataStream。相比 TableEnvironment，StreamTableEnvironment 提供了 DataStream 和 Table 之间相互转换的接口，如果用户的程序除了使用 Table API & SQL 编写外，还需要使用到 DataStream API，则需要使用 StreamTableEnviro

本文转自：https://www.cnblogs.com/rossiXYZ/p/12286407.html1. 摘要对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。2.问题关于Watermark，很容易产生几个问题Flink 流处理应用中，常见的处理需求/应对方案是什么?Watermark究竟应该翻译成水印还是水位线？Watermark本质是什么?Watermark是如何解决问题?下面我们就来简

一、详细报错Error:(55, 92) Static methods in interface require -target:jvm-1.8 .assignTimestampsAndWatermarks(WatermarkStrategy.forBoundedOutOfOrderness[LogEvent](Duration.ofSeconds(2))二、报错原因在flink 1.11版本中使用 WatermarkStrategy 类中的方法时可能会报异常第一种解决办法：按

1.9.Flink入门案例-wordCount1.9.1.开发工具1.9.2.编写java版本word-count程序1.9.2.1.添加Flink Maven依赖1.9.2.2.编写wordcount的java代码1.9.2.3.数据准备1.9.2.4.执行结果1.9.3.编写scala版本word-count程序1.9.3.1.添加Flink依赖1.9.3.2.编写wordcount的scala程序1.9.4.Flink StreamingWindowWordCount1.9.5.

1.7.Flink scala shell代码调试1.7.1.Flink scala shell代码调试语法1.8.Flink基本原理及应用场景1.8.1.Flink特点1.8.2.Flink架构图1.8.2.1.Flink集群的解剖1.8.2.1.1.JobManager1.8.2.1.2.TaskManagers1.8.2.1.3.Tasks and Operator Chains1.8.2.1.4.Task Slots 和 Resources1.8.2.1.5.Flink Appl

1.6.Flink命令行界面1.6.1.Deployment targets1.6.2.例子1.6.3.作业管理示例1.6.4.Savepoints1.6.5.语法1.6.Flink命令行界面此篇内容来自：https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/cli.htmlFlink提供了一个命令行接口(CLI)来运行打包为JAR文件的程序，并控制它们的执行。CLI是任何Flink设置的一部分，可以在本地单节

1.5.Flink-HA高可用1.5.1.JobManager高可用（HA）1.5.2.JobManager HA配置步骤1.5.3.Flink Standalone集群HA配置1.5.3.1.HA集群环境规划1.5.3.2.开始配置1.5.3.3.配置环境变量1.5.3.4.启动1.5.4.Flink on yarn集群HA配置1.5.4.1.HA集群环境规划1.5.4.2.开始配置+启动1.5.4.3.启动flink on yarn，测试HA1.5.4.4.在hadoop4上启动