张伟的专栏

每个文件组包含多个切片，其中每个切片包含在某个提交 / 压缩即时时间生成的基本列文件 (parquet 文件)，以及自生成基本文件以来对基本文件的插入 / 更新的一组日志文件 (*.log)。Hudi 采用 MVCC 设计,其中压缩操作会将日志和基本文件合并成新的文件片，清理操作会将未使用/较旧的文件片删除来回收 DFS 上的空间。说明：目前还没写入测试数据，Hudi 目录只生成一些状态标记文件，还未生成分区目录以及 .log 和 .parquet 数据文件，具体含义可见 Hudi 官方文档。

Flink CDC 2.2 版本增加了 OceanBase、PolarDB-X、SQLServe、TiDB 四种数据源，同时提供了兼容 Flink 1.13 和 Flink 1.14 的功能，同一个 CDC connector 既可以在 Flink 1.13 的集群上运行，也可以在 Flink 1.14 集群运行，用户不需要去做定制化适配，非常友好。2.2版本支持了动态加表，Flink CDC 的数据同步作业可以动态地添加表，让数据同步任务不停止可增加，方便维护，减少新建数据同步任务的工作。

【IT老齐347】十亿级数据表Flink CDC如何数据同步_哔哩哔哩_bilibili

为什么使用 Flink 替代 Spark？全局快照首先是一个分布式应用，它有多个进程分布在多个服务器上；其次，它在应用内部有自己的处理逻辑和状态；第三，应用间是可以互相通信的；第四，在这种分布式的应用，有内部状态，硬件可以通信的情况下，某一时刻的全局状态，就叫做全局的快照。回到顶部。

一般我们的 Checkpoint 时间间隔可以设置为分钟级别，例如 1 分钟、3 分钟，对于状态很大的任务每次 Checkpoint 访问 HDFS 比较耗时，可以设置为 5~10 分钟一次Checkpoint，并且调大两次 Checkpoint 之间的暂停间隔，例如设置两次 Checkpoint 之间至少暂停 4 或 8 分钟。Flink 性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。

本文没有过多的讲述源码，考虑大家的都能够读懂，其语言竟可能通俗一一点。如果有需要改进的地方，希望大家能够指出。后续我会不断的和大家一起大数据相关的技术，和大家一起交流学习。

Apache Flink PMC（项目管理委员）很高兴地宣布发布 Apache Flink 1.17.0。Apache Flink 是领先的流处理标准，流批统一的数据处理概念在越来越多的公司中得到认可。得益于我们出色的社区和优秀的贡献者，Apache Flink 在 Apache 社区中一直保持着快速增长，并且是最活跃的社区之一。Flink 1.17 有 172 位贡献者热情参与，完成了 7 个 FLIP 和 600 多个 issue，为社区带来了许多令人兴奋的新功能和改进。

当一个算子接收到第一个输入流的快照barrier n时，它不能继续处理该流的其他数据，而是需要等待接收到最后一个流的barrier n，才可以生成算子的状态快照和发送挂起的输出记录，然后发送快照barrier n。savepoint是使用检查点机制创建的，作业执行状态的全局镜像，可用于flink的停止与恢复，升级等。由于有些算子是有状态的，有些算子是无状态的，实际上只要给有状态的算子添加算子ID就可以，但很多人并不太清楚哪些算子是有状态的，哪些是无状态的，所以，实际操作中，尽量给每个算子手动配置算子ID。

在推导的过程中，通常会运用到一些比较关键的信息，下图中所展示的是 SQL 任务提交过程中构建的 StreamGraph，血缘实现的原理是基于 Pact、Contents、Predecessors 等参数实现 Source 和 Sink 字段关系的推导，但是有一些自定义的 UDF 以及连接器是不包含类似元数据的信息，比如说 Hudi 的连接器是无法进行 Hudi 的血缘。通过 Dinky 来提供一个完整的任务开发运维的平台能力，满足常见的企业数据平台需求。

集团关于Blink的相关使用文档已经十分齐全，这里不准备再过多赘述。这篇文章准备对Blink所基于的Apache社区开源产品--Flink的架构做一些浅显分析。

进入集群中心进行远程集群的注册。Executor 是 Dlink 定制的 FlinkSQL 执行器，来模拟真实的 Flink 执行环境，负责 FlinkSQL 的 Catalog 管理、UDF管理、片段管理、配置管理、语句集管理、语法校验、逻辑验证、计划优化、生成 JobGraph、本地执行、远程提交、SELECT 及 SHOW 预览等核心功能。JobManager 并非 Flink 的 JM，而是作为 Dlink 的作业管理入口，负责 Flink 的各种作业执行方式及其他功能的调度。

注意这里只是 Dlink 相关的包和文件，flink 任务的执行必然还会依赖到 flink 相关的包，这就需要你在 dlink-release-0.4.0 目录下自己创建一个 plugins 文件夹。第三步：注意，重点。引用 Dlink 官网的介绍，Dlink 将紧跟 Flink 官方社区发展，为推广及发展 Flink 的应用而奋斗，打造 FlinkSQL 的最佳搭档的形象。Dlink 是前后端分离的，刚刚我们配置了 MySQL 相关的环境，则可以直接启动后端了，后端占用的端口是 8888，启动命令如下。

Flink问：我有丰富的connector，但是用户每次都要把connector打包到uber jar里，或者copy到flink的lib下，但是这样会把各种connector jar混在一起，容易发生冲突，很难管理，有谁能提供一个干净点的方案？如果你是Flink的学习者或者爱好者，除了学习Flink本身之外，你是否在寻找一款Flink的开发部署工具。Flink问：Flink Job提交目前只能一个个提交，一个job跑完跑另外一个，有些用户想并行执行多个Flink Job，谁能帮我搞定这个需求？

-4：对于shuffle中一个上游的数据有多个下游共用的情况，以前是上游vertex生成多个数据集，然后供下游使用，这导致了数据被序列化和持久化了多次。--10：sort-shuffle的index文件以前存储的位置信息是当前数据分区的buffer数（the number of buffers in the current data region），这样不便于快速的定位目标数据的边界，现在改成了记录当前数据分区的bytes数，这样也便于做如下优化：为了连续性IO读取，读取大于一个buffer的数据。

本文整理自汽车之家实时计算平台负责人邸星星在 Flink Forward Asia 2021 平台建设专场的演讲。

Flink SQL篇，SQL实操、Flink Hive、CEP、CDC、GateWayFlink源码篇，作业提交流程、作业调度流程、作业内部转换流程图Flink核心篇，四大基石、容错机制、广播、反压、序列化、内存管理、资源管理Flink基础篇，基本概念、设计理念、架构模型、编程模型、常用算子1、Flink SQL有没有使用过？2、Flink被称作流批一体，从哪个版本开始，真正实现流批一体的？3、Flink SQL 使用哪种解析器？4、Calcite主要功能包含哪些？5、Fl.

概况DataStream API支持不同的运行时执行模式，我们可以根据实际的需求和任务的特征来选择这些模式。STREAMING执行模式是DataStream API的“经典”执行行为，应该用于需要持续增量处理并预期无限期在线的无限作业。此外，还有一种批处理风格的执行模式，我们称之为 BATCH执行模式。 它以一种像批处理框架(如MapReduce)的方式执行作业。 这应用于已知有限的数据源输入并且不会连续运行的有界作业。Flink对流和批处理的统一方法意味着在有界输入上执行的DataSt.

本文使用 Flink 的两种方式实现 WordCount基于流计算基于批计算先说一下我的环境：Flink 1.9开发工具：IdeaMaven版本：3.3.9Linux：CentOS 7演示语言：Scala 2.111. Idea 新建 Maven 项目并配置以下依赖<dependencies> <dependency> <groupId>org.apache.flink</groupId> ...

本文整理自 Apache Flink 中文社区发起人、阿里巴巴开源大数据平台负责人王峰（莫问）在 Flink Forward Asia 2021 的分享。本篇内容主要分为四个部分： 1. 2021: Apache Flink 社区持续繁荣 2. Apache Flink 核心技术演进 3. 流批一体演进与落地 4. 机器学习场景支持2021: Apache Flink 社区持续繁荣1.1 Flink 大版本迭代2021 年，Flink 社区共发布两个大版本：Flink 1....

《2021年最新版大数据面试题全面开启更新》Flink 1.11 正式发布已经三周了，其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了，所以就写了一篇 Zeppelin 上的 Flink Hive Streaming 的实战解析。本文主要从以下几部分跟大家分享：Hive Streaming 的意义 Checkpoint & Dependency 写入 Kafka Hive Streaming Sink Hi...

目录当我们谈论批流一体，我们在谈论什么？ 一、流计算与批计算 一）流计算与批计算 二）流计算与批计算的比较 三）为什么要搞流批一体 二、流批一体的场景 一）数据集成的流批一体 二）数仓架构的流批一体 三）数据湖的流批一体 四）存储的流批一体 1.Pulsar 2.Hologres 1）Hologres的架构图 2）Hologres的流批一体 三、Flink中的流批一体 一）流批一体的DataStream 1.目前的

大数据—— Flink 状态后端（State Backends）_Vicky_Tang-CSDN博客

Flink的SQL客户机可以在启动时读取YAML配置文件，该文件可以包括空闲状态保留规范。例如，您可以通过sql语言- client.sh嵌入式-e sql client-配置.yaml配置文件包含execution:planner: old # optional: either 'old' (default) or 'blink'type: streaming # required: execution mode either 'batch' or 'streaming'resu.

存储对标mysql定义一个schema，schema的本质是什么？主要描述下面这些信息1）当前存储的物理位置的描述2）数据格式的组成形式然后Hive可以让用户定义一段sql，针对上面定义的schema进行，sql的本质是什么，是业务逻辑的描述。然后Hive内部会将这段sql进行编译转化为原生的底层MapReduce操作，通过这种方式，屏蔽底层技术原理，让业务开发人员集中精力在schema和sql业务逻辑上，flink sql平台也正是做同样的事情。一开始经过跟上海同事的讨论...

作者：曾庆东，金地物业中级开发工程师，负责聚合营业平台实时计算开发及运维工作，从事过大数据开发，目前专注于apache flink实时计算，喜欢开源技术，喜欢分享。01 项目背景本人目前参与的项目属于公司里面数据密集、计算密集的一个重要项目，需要提供高效且准确的OLAP服务，提供灵活且实时的报表。业务数据存储在MySQL中，通过主从复制同步到报表库。作为集团级公司，数据增长多而且快，出现了多个千万级、亿级的大表。为了实现各个维度的各种复杂的报表业务，有些千万级大表仍然需要进行Join，计算规模.

简介：Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。整理：陈政羽（Flink 社区志愿者）Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PM...

MySQL CDC连接器允许从MySQL数据库读取快照数据和增量数据。本文档根据ververica官网翻译了如何设置MySQL CDC连接器以对MySQL数据库运行SQL查询。一、依赖关系为了设置MySQL CDC连接器，下表提供了使用构建自动化工具（例如Maven或SBT）和带有SQL JAR捆绑包的SQL Client的两个项目的依赖项信息。1、Maven依赖<dependency> <groupId>com.alibaba.ververica&lt.

Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。本文将以Flink1.12为例，介绍Flink集成Hive的另外一个非常重要的方面——Hive维表JOIN(Temporal Table Join)与Flink读写Hive表的方式。以下是全文，希望本文对你有所帮助。Flink写入Hive表Flink支持以批处...

https://blog.csdn.net/hellojoy/article/details/100935362背景image实时计算中，数据时间比较敏感。有eventTime和processTime区分，一般来说eventTime是从原始的消息中提取过来的，processTime是Flink自己提供的，Flink中一个亮点就是可以基于eventTime计算，这个功能很有用，因为实时数据可能会经过比较长的链路，多少会有延时，并且有很大的不确定性，对于一些需要精确体现事件变化趋势的场景中，单纯

原网址：https://blog.csdn.net/hellojoy/article/details/101449942前言之所以写这个是因为前段时间自己的项目出现过这样的一个问题： 123 Caused by: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka://flink/user/taskmanager_0#15608456]] after [10000 ms]. Sen

转载自：https://www.cnblogs.com/code2one/category/1331180.html目录System Architecture Data Transfer in Flink Event Time Processing State Management Checkpoints, Savepoints, and State RecoverySystem Architecture分布式系统需要解决：分配和管理在集群的计算资源、处理配合、持久和可访问...

前面我们已经了解过flink的状态，对于这些状态如何保存，我们一起学习一下flink的checkpoint机制，并了解一下rocksdb中的增量checkpoint是怎么实现的。Checkpoint实现原理Flink提供的checkpoint机制可以在流任务发生故障时，任务恢复之后，state只被处理一次 exactly once ，当然也可选为 at least once。checkpoint原理就是连续绘制分布式的快照，而且非常轻量级，可以连续绘制，并且不会对性能产生太大影响。默认情况...

实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。本文会分享基于Flink SQL从0到1搭建一个实时数仓的demo，涉及数据采集、存储、计算、可视化整个处理流程。通过本文你可以了解到：实时数仓的基本架构 实时数仓的数据处理流程 Flink1.11的SQL新特性 Flink1.11存在的bug 完整的操作案例古人...

一、简介 Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程（Solt）上执行一个或多个 subtask。Flink 的每个 TaskManager 为集群提供 Solt。Solt 的数量通常与每个 TaskManager 节点的可用 CPU 内核数成比例，一般情况下 Slot 的数量就是每个节点的 CPU 的核数。Slot的数量由集群中flink-conf.yaml配置文件中设 置taskmanager.numberOfTaskSlo...

前言：因flink升级至1.11，故后期版本至1.11一、简介 Flink 根据抽象程度分层，提供了三种不同的 API 和库。每一种 API 在简洁性和表达力上有着不同的侧重，并且针对不同的应用场景。ProcessFunction：是 Flink 所提供最底层接口。ProcessFunction 可以处理一或两条输入数据流中的单个事件或者归入一个特定窗口内的多个事件。它提供了对于时间和状态的细粒度控制。开发者可以在其中任意地修改状态，也能够注册定时器用以在未来的某一时...

https://www.aboutyun.com/thread-28843-1-1.html问题导读1.集群部署与资源管理方面有哪些改进？ 2.WEB UI有哪些改进？ 3.Table和SQL查询方面有哪些改进？ Flink 1.11 版本即将正式宣告发布！为满足大家的好奇与期待，我们邀请 Flink 核心开发者对 1.11 版本的功能特性进行解读与分享。Flink 1.11 在 1.10 的基础上对许多方面进行了完善和改进，并致...

https://blog.csdn.net/weixin_46669856/article/details/110357874文章目录一、Flink概述 **1.1** **Flink and Spark** **1.2** **Flink or Spark** 二、wordCount案例 2.1 批处理 2.2 有界流 2.3 无界流 2.4 打成jar包上传到flink运行 三、运行环境 3.1 standalone模式 3.1.1 前端界

Flink是一个分布式系统，需要有效分配和管理计算资源才能执行流应用程序。 它与所有常见的群集资源管理器（如Hadoop YARN，Apache Mesos和Kubernetes）集成，但也可以设置为作为独立群集甚至库运行。本节概述了Flink的体系结构，并描述了Flink的主要组件如何交互以执行应用程序并从故障中恢复。Flink群集的剖析Flink运行时由两种类型的进程组成：一个JobManager和一个或多个TaskManager。客户端不是运行时和程序执行的一部分，而是...

本文链接：https://blog.csdn.net/ifenggege/article/details/113731793背景开发的flink程序，要使用yarn-cluster的方式进行部署。程序中依赖了很多第三方jar包，不想用shade那种打包方式打成一个大jar包，然后提交。想将应用程序jar包和依赖jar包分开，依赖的jar包在提交时一起提交上去（像spark on yarn直接指定“–jars”这样），但是找了好久发现flink官方没有提供这样的方式。直接将依赖的ja...

yarn cluster 模式部署介绍