数据文-CSDN博客

原创最新 Flink 1.13 简介（简介、历史、核心特性、WordCount体验）快速入门、详细教程

Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务：- DataSet API，对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。- DataStream API，对数据流进行流处理操作，将流式的数据抽象成分布式的数据流，用户可以方便地对分

2022-04-07 01:06:43 766

原创最新 Flink 1.13 部署（Session、Per-Job、Application、HA、YARN）快速入门、详细教程

Flink 部署;一、部署模式;1. 会话模式（Session Mode）;2. 单作业模式（Per-Job Mode）;3. 应用模式（Application Mode）;4. 对比;二、独立模式（Standalone）;1. 会话模式部署;2. 单作业模式部署;3. 应用模式部署;4. 高可用(High Availability );三、YARN 模式;1. 相关准备和配置;2. 会话模式部署;3. 单作业模式部署;4. 应用模式部署;5. 高可用

2022-04-07 01:01:06 6418

原创最新 Flink 1.13 运行时架构（JobManager、TaskManager、YARN、Slots、JobGraph）快速入门、详细教程

Flink 运行时架构;一、系统架构;1. 作业管理器（JobManager）;2. 任务管理器（TaskManager）;二、作业提交流程;1. 高层级抽象;2. 独立模式（Standalone）;3. YARN 集群;1. 数据流图（Dataflow Graph）;2. 并行度（Parallelism）;3. 算子链（Operator Chain）;4. 作业图（JobGraph）与执行图（ExecutionGraph）;5. 任务（Tasks）和任务槽（Task Slots）

2022-04-07 00:47:29 2598

原创最新 Flink 1.13 DataStream API 快速入门、详细教程

DataStream API;一、Flink 的编程模型;1. 创建执行环境;三、源算子（Source）;4. 从Kafka 读取数据;1. Flink 支持的数据类型;2. 类型提示（Type Hints）;五、转换算子（Transformation）;1. 基本转换算子;2. 聚合算子（Aggregation）;3. 用户自定义函数（UDF）;2. 物理分区;七、输出算子（Sink）;2. 输出到Kafka;3. 输出到Redis;4. 输出到Elasticsearch;5. 输出到 MySQL

2022-04-07 00:25:16 745

原创最新 Flink 1.13 时间和窗口（时间语义、Watermark、Window 窗口、Trigger）快速入门、详细教程

一、Flink 的三种时间语义;二、水位线（Watermark）;1. Flink 中的 Watermark 机制;2. 如何生成水位线;3. 水位线的传递;三、窗口（Window）;1.窗口的概念和分类;2. 窗口分配器（Window Assigners）;3. 窗口函数（Window Functions）;4. 触发器（Trigger）、移除器（Evictor）、允许延迟和侧输出流（Side Output）;5. 窗口的生命周期;四、迟到数据的处理，结果正确性的三重保障;

2022-04-07 00:13:03 4569 2

原创最新 Flink 1.13 处理函数（ProcessFunction、TimerService、侧输出流、Top N）快速入门、详细教程

一、基本处理函数（ProcessFunction）;1.RichFunction的功能与作用;2. ProcessFunction的功能与作用;3. 处理函数的分类;二、按键分区处理函数（KeyedProcessFunction）;1. 定时器（TimerService）;2. KeyedProcessFunction的功能与示例;三、窗口处理函数（ProcessWindowFunction、ProcessAllWindowFunction）;侧输出流；Top N

2022-04-07 00:01:30 1748

原创最新 Flink 1.13 多流转换（Union、Connect、Window Join、Interval Join、Window CoGroup）快速入门、详细教程

一、分流；二、基本合流；1. 联合（Union）；2. 连接（Connect）；2.2 广播连接流（BroadcastConnectedStreams）；三、基于时间的合流--双流联结（Join）；1.窗口联结（Window Join）;2. 间隔联结（Interval Join）；3. 窗口同组联结（Window CoGroup）；四、Flink 常见的维表 Join 方案；1. 预加载；2. 热存储；3.广播维表；4. Temporal join

2022-04-06 23:51:11 1541

原创最新 Flink 1.13 状态编程与容错机制（状态、状态后端、检查点、精确一次、端到端的状态一致性）快速入门、详细教程

一、Flink 中的状态；1. 什么是状态；2. 状态的管理二、按键分区状态（Keyed State）；4. 状态生存时间（TTL）；三、算子状态（Operator State）；四、状态持久化和状态后端；2.2 状态后端的分类；五、检查点；1. 检查点的保存；3. 检查点算法；5. 保存点（Savepoint）六、状态一致性；1. Flink 内部状态的一致性；2. 端到端（end-to-end）的状态一致性；3. 端到端精确一次（end-to-end exactly-once）

2022-04-06 13:27:48 1181

原创最新 Flink 1.13 的 Flink CEP 复杂事件处理快速入手、详细教程

CEP，其实就是“复杂事件处理（Complex Event Processing）”的缩写；而 Flink CEP，就是 Flink 实现的一个用于复杂事件处理的库（library）。把事件流中的一个个简单事件，通过一定的规则匹配组合起来，这就是“复杂事件”；然后基于这些满足规则的一组组复杂事件进行转换处理，得到想要的结果进行输出。CEP 做的事其实就是在流上进行模式匹配。主要用在风控管理【人工进一步判定用户是否有违规操作】、用户画像【行为轨迹画像特定行为习惯】和运维监控【灵活配置多指标、多依赖】

2022-04-06 10:33:30 1382

原创最新 Flink 1.13 的 Flink SQL 快速入门，详细教程

Table API 和 SQL一、简单使用；二、动态表和持续查询；三、时间属性和窗口；四、聚合查询；五、联结查询；六、自定义函数 UDF ；七、SQL 客户端；八、连接到外部系统。

2022-04-05 16:34:16 4561 1

博文约礼