欢迎来到我的博客，一起探索代码里的世界！

维护 3 个 HDP 集群使用某云实时计算 Flink。

PS：由于我们提交的是 flink batch 作业，而不是 streaming 的作业，所以可以看到 job 是 finished 状态。PS：初次构建时，会比较慢！因为没有缓存，需要下载许多依赖包。

2、停止生产上正在运行的 flink job说明：由于在生产上，我们已经有作业正在运行，所以在升级 flink kubernetes operator 之前，需要停止正在运行的 flink job。如下举例删除 basic-example 作业：(1)删除 deployment 和 pod(1)查询是否正常下线3、升级 CRD3.1 切换项目空间到 ns-flink-operator 下3.2 执行升级命令，即可升级 CRD。

注意：一般情况下，我们优先选择 savepoint！

【代码】【Flink on k8s】- 11 - 使用 Flink kubernetes operator 运行 Flink 作业。

示例：$ $ kubectl -n flink-job get pod basic-example-85568899d9-m8wgx -o yaml >> job-status.json。示例：$ kubectl -n flink-job get pod basic-example-85568899d9-m8wgx -w。示例：$ kubectl -n flink-job logs basic-example-85568899d9-m8wgx -f。（6）暂停和恢复应用程序。

flink kubernetes operator 版本： 1.4.0helm 版本： 3.1.0flink kubernetes operator 支持的 Flink 版本：v1.13, v1.14, v1.15, v1.16。

Operator Namespace：用户可自定义名称（如 ns-flink-operator）

【代码】【Flink on k8s】- 7 - 在本地运行第一个 flink wordcount job。

PS：自 Flink 1.15 开始，只有 Application Mode 和 Session Mode ，不再支持 Per-Job Mode。

以上 logo 来源：https://flink.apache.org/powered-by/本页图片来源：https://flink.apache.org/use-cases/本页图片来源：https://flink.apache.org/use-cases/本页图片来源：https://flink.apache.org/use-cases/模式识别或复杂事件处理。

【代码】【Flink on k8s】4 - 在 Kubernetes 上运行容器。

在生产环境中，为了保障集群的高可用，通常会部署多个 Master。

2019 年 3 月，Kubernetes 项目发布了 1.14 版本，引入了 Pod Topology Spread 和 Pod Overhead 等新特性。2017 年 12 月，Kubernetes 项目发布了 1.9 版本，引入了 StatefulSet 和 Workload API 等新特性。2016 年 3 月，Kubernetes 项目发布了 1.2 版本，引入了许多新特性，包括自动扩展、服务发现和负载均衡等功能。

Flink Kubernetes Operator 可以与 Kubernetes 的其他功能和工具集成，可以帮助用户快速定位和解决问题。Flink Kubernetes Operator可以在Kubernetes上实现高可用性，以确保 Flink 集群的稳定性和可靠性。Flink Kubernetes Operator 可以快速地部署 Flink 集群，而无需手动配置和管理集群。Flink Kubernetes Operator可以将Flink集群与其他应用程序隔离，以避免资源争用和干扰。

1、课程目录2、课程链接。

的一部分，Flink 1.18 引入了一个新的端点，允许用户通过 REST API 重新缩放运算符（作业顶点）。我们已将操作员使用的 Flink 客户端库升级到 1.17.1 版本，由于 flink-kubernetes 模块 shading 的改进，这大大简化了构建和打包工作。例如，用户可以为 Flink 1.18 设置不同的默认配置（默认启用自适应调度程序）。1.6.0 对回滚机制进行了多项核心改进，以充分利用强大的升级流程，并涵盖更广泛的故障情况。该版本，并通过 Flink。）时，就地扩展才可用。

延迟是数据从网络上的一个点传递到另一个点所需的时间。假设北京的服务器 A 向成都的服务器 B 发送一个数据包。服务器 A 在格林威治标准时间 10:20:00.000 发送数据包，服务器 B 在格林威治标准时间 10:20:00.125 接收数据包。此路径上的延迟量是这两个时间之间的差值：0.125 秒或 125 毫秒。大多数情况下，延迟是在用户设备（“客户端”设备）和数据中心之间测量的。该测量值可帮助开发人员了解网页或应用程序为用户加载的速度。

这些指标每两秒更新一次，上报的值表示 subtask 在最近两秒被反压（或闲或忙）的平均时长。比如，一个以恒定 50% 负载工作的 subtask 和另一个每秒钟在满负载和闲置切换的 subtask 的。如果一个 task 没有可用的输出 buffers，那么这个 task 就被认定是在被反压。WebUI 集合了所有 subTasks 的反压和繁忙指标的最大值，并在 JobGraph 中将集合的值进行显示。空闲的 tasks 为蓝色，完全被反压的 tasks 为黑色，完全繁忙的 tasks 被标记为红色。

进一步的扩大可能不会永远发生。

学习 Flink Kubernetes Operator 可以帮助你更好地在 Kubernetes 上运行 Flink 应用程序。希望这些建议能帮助你更好地学习 Flink Kubernetes Operator。

flink 1.16.0 发布说明

1.Flink自定义注解级别在升级 Flink版本至 1.15.3时，偶然遇到了一个异常，然后就准备详细了解下源码中的注解。设计注解的初衷：为了更好地进行代码和版本管理，Flink使用了Java的注解特性自定义了注解，对代码进行增强说明。注解的使用场景：提供信息给编译器：编译器可以利用注解来探测错误和警告信息编译阶段时的处理：软件工具可以利用注解信息来生成代码，HTML文档或其他相应处理运行时的处理：某些注解可以在程序运行时接受代码的提取。

但是，该模式下，如果集群中的一个作业行为不正常或导致 TaskManager 宕机，则在该 TaskManager 上运行的所有作业都将受到故障的影响。Application 模式为每个提交的作业创建一个集群，但作业的main（）方法将在JobManager上执行，以节省提取job graph所需的CPU周期，也节省客户端下载依赖及将job graph及其依赖关系传送到群集所需的带宽。总之，在 Session 模式下，集群生命周期独立于集群上运行的任何作业，并且集群上运行的所有作业共享集群资源。

一、Flink CDC 是什么？ 2020年 Flink cdc 首次在 Flink forward 大会上官宣，由Jark Wu & Qingsheng Ren 两位大佬介绍，原始 blog 点击链接。 Flink CDC connector 可以捕获在一个或多个表中发生的所有变更。该模式通常有一个前记录和一个后记录。Flink CDC connector 可以直接在Flink中以非约束模式（流）使用，而不需要使用类似 kafka 之类的中间件中转数据。...

课程链接：https://edu.csdn.net/course/detail/38831

Flink forward 2021 大会已结束，相关演讲的 pdf 下仔链接，请点击：Flink Forward 峰会 - Flink Forward Asia 2021

Flink Forward 2021 即将在北京召开的，共举办2天，大会议程已经提前公布。 有主会场和分会场（行业实践、核心技术、平台建设、实时数仓、实时数据湖、流批一体、开源解决方案、生产实践、机器学习），涉及的内容很多，具体项目请见图片介绍。活动详细介绍请见：https://flink-forward.org.cn/...

Apache Flink 社区在 2021.08.05日发布了 Apache Flink 1.13 系列的第二个修复错误的版本。 此版本包括 127 个修复和小改进。以下的列表包括修正错误和改进。有关所有更改的完整列表，请参考：Error - ASF JIRA。下面来看看部分更新内容： [FLINK-21445] 修复了应用程序模式在构建 PackagedProgram 时不设置配置的问题 [FLINK-22443] 修复了无法在批处理模式下执行极长的 sql的问题 ...

概览监控OverviewHistorySummaryConfigurationCheckpoint 详细信息概览Flink 的 Web 界面提供了选项卡/标签来监视作业的 checkpoint 信息。在作业终止后，这些统计信息仍然可用。有四个不同的选项卡可显示有关 checkpoint 的信息：Overview，History，Summary和Configuration。以下各节将依次介绍这些内容。监控Overview概览选项卡列出了以下统计信息。请...

方式一：用 Robin 的方式写入 Kafka1、实现 exactly-once 语义的 kafka sink，用 Robin 的方式写入 Kafka2、randomRobin: 创建 FlinkKafkaProducer 时，指定空的 customPartitioner，flink 会把 一个 sink subtask 的数据以 round-robin 方式写入 kafka 的各个分区...

一、概念理解solt：把 slot 看做 cpu 的核一个slot一可以并行跑很多作业并发度：一个算子有多少个运行实例关系： slot数 = 最大并发度、一个slot一可以同时运行不同算子的一个实例二、参数设置说明计算 TaskManager 数量: 50/4 = 13 ， 13个TM一共可以提供13*4=52 个 slot。最大并发是50，只占了 50 slot，还剩下...

前言 由于 Apache Flink 的开源二进制包未提供 HDP、MapR和 CDH 的下载，所以，如果要兼容基于这些厂商的库编译 Apache Flink。本文主要介绍使用 CDH 的库进行编译 Apache Flink 1.9.0，希望对读者有所帮助。内容 1、环境 Jdk 1.8、macOS10.14.6、Maven 3.6.2和Scala-2.11....

说明 本文基于 Flink -1.6.0 版本进行整理和分析，如有不妥之处，敬请指正。内容一、Flink 的技术栈图片来源：https://ci.apache.org/projects/flink/flink-docs-release-1.6/internals/components.html注意Table API & SQL 统一了 DataStre...

Flink 是流处理器，那么同样会涉及到一致性的3个级别，他们分别如下1、at-most-once这其实是没有正确性保障的委婉说法，故障发生后，计数可能丢失。2、at-least-once这表示计数结果可能大于正确值，但是绝不会小于正确值，即计数程序发生故障后可能多算，但是绝不会少计算。3、exactly-once这是指系统保证在故障发生后得到的计数结果与正确值一致。...

对比其他计算框架SparkStormFlinkStreaming ModelMicro-batchNativeNativeFault ToleranceRDD based checkpointingRecord ACKscheckpointLatencyMediumVery LowLowThroughoutHighLowHigh...

感谢原文作者：http://blog.madhukaraphatak.com/introduction-to-flink-for-spark-developers-flink-vs-spark/面向Spark开发人员的Apache Flink简介：Flink vs Spark世界还需要另一个大数据处理系统吗？这是我第一次听说Apache Flink时出现的问题。在大数据领域，我们没有缺乏框...

一、Flink基本编程模型1、Stateful Stream Processing它位于最底层， 是core API 的底层实现；推荐学习时使用，生产中以稳定为主，不建议使用。 processFunction：开发复杂、比较灵活，刚开始学习时，不推荐使用。 利用低阶 API，构建一些新的组件（比如：利用其定时做一定情况下的匹配和缓存） 灵活性高，但开发比较复杂。2、Core ...

感谢英文原文作者：https://data-artisans.com/blog/a-practical-guide-to-broadcast-state-in-apache-flinkApache Flink中的广播状态实用指南从版本1.5.0开始，Apache FlinkⓇ具有一种新的状态，称为广播状态。在这篇文章中，我们解释了广播状态是什么，并展示了如何将其应用于评估事件流上的动态模式...

感谢原文作者：https://data-artisans.com/what-is-stream-processing什么是流处理？Data Artisans由ApacheFlink®的原始创建者创建，我们花了很长时间来解决流处理领域的问题。在这篇介绍性文章中，我们将提供有关流处理和Apache Flink适合的视角。要了解更多信息，您可以下载有关Apache Flink的状态流处理的报告，...