阿甘兄

解决高版本flink cdc依赖缺失的问题

超详细深度解读StreamPark源码

代理技术实现Flink流动数据细节记录与分析

flink源码分析文章整理

Flink Metrics Reporter源码分析（实践）

Flink架构与拓扑图

StreamPark从零快速入门（本地调试、功能演示及源码分析）

超详细深度解读FlinkX（纯钧）源码

flink tdsql cdc connector开发

超详细深度解读flink kerberos认证

超详细讲解flink kerberos认证

Streampark使用体验与建议

docker下安装与配置streampark

超详细总结flink cdc多种数据源安装、配置与验证

超详细讲解flink sqlerver cdc实时同步。

超详细讲解Oracle CDC实时同步

flink postgresql cdc实时同步，含pg安装配置等

超详细深度剖析Dinky源码

flink-kubernetes-operator api使用

flink kubernetes operator 学习笔记

详细讲解Flink SQL代码补全的源码

浅谈实时计算，概念、Flink技术以及常见的解决方案参考。

Flink作业任务部署有几种模式，分别为：Application 模式、Per-Job 模式、Session模式。无论何种模式，都是提交到JobManager的，JobManager会把作业分发到不同的TaskManager，TaskManager为实际的工作者。对于JobManager及TaskManager，又可以部署到不同的资源管理器中，如：Standlone 独立集群、Yarn 资源管理器、K8S 集群（本质也是资源管理器）。......

Catalog在Flink中提供了一个统一的API，用于管理元数据，并使其可以从 Table API 和 SQL 查询语句中来访问。Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。......

文章目录01 引言02 protobuf概述2.1 protobuf优缺点2.2 protobuf使用03 Flink使用protobuf3.1 Flink如何使用protobuf3.2 Flink实现protobuf思路3.3 可能会出现的问题04 文末01 引言Flink项目目前是没有实现protobuf格式的，目前Flink相关的开发者正在开发，详情可以参考：https://github.com/maosuhan/flink/tree/feature/flink-pb-format本文来讲讲如何

附：Flink官方文档（中文）前段时间工作比较繁忙，一直都没时间好好的去阅读Flink的文档，本文来整理展开后的Flink文档的所有目录，以便有一个全局的掌控，直接点击上面的目录结构即可查看下详情。Flink官方文档目录结构如下：|------ 1.Try Flink|------------ 1.1 本地模式安装|------------1.2 基于 DataStream API 实现欺诈检测|------------1.3 基于 Table API 实现实时报表|----------.

文章目录01 引言02 源码分析2.1 源码入口2.2 IOMetricsInfo2.3 MutableIOMetrics2.3 MetricFetcher2.3.1 MetricFetcherImpl2.4 MetricQueryServiceGateway2.5 RpcEndpoint2.6 MetricQueryService2.7 MiniCluster2.8 LocalExecutor2.8 StreamExecutionEnviroment03 小结01 引言附：Flink源码下载地址

配置类在：org.apache.flink.configuration.CheckpointingOptions配置解析：配置类型默认值描述state.backendString无检查点存储，用于在执行过程中存储操作符的本地状态state.checkpoint-storageString无用于恢复检查点状态的检查点存储。state.backend.changelog.enabledBooleanfalse是否开启状态变更日志state.chec

文章目录01 引言02 Kafka-Connector 源码分析2.1 项目结构2.2 工厂（源码解读入口）2.2.1 KafkaDynamicTableFactory2.2.2 UpsertKafkaDynamicTableFactory2.2.3 KafkaTableSourceSinkFactory2.3 序列化和反序列化工厂2.3.1 DeserializationFormatFactory2.3.1.2.1 JsonRowDataDeserializationSchema2.3.2 Seriali

文章目录01 引言02 Connector概述2.1 Metadata - 元数据模块2.2 Planning - 规划模块2.3 Runtime - 运行时模块03 Connector相关API3.1 Dynamic Table Factories - 动态表工厂3.2 Dynamic Table Source - 动态表源3.2.1 Scan Table Source - 扫描表源3.2.2 Lookup Table Source - 查找表源3.3 Dynamic Table Sink - 动态表接

文章目录01 引言02 实现2.1 添加依赖2.2 Flink SQL2.3 配置Kafka域名03 文末01 引言最近在做实时采集Kafka发布的内容到MySQL，本文记录一下关键的点，细节不再描述，希望能帮助到大家。02 实现2.1 添加依赖在工程，除了添加基础的Flink环境依赖，还需要添加flink-connector-kafka的依赖：<dependency> <groupId>org.apache.flink</groupId> &

最近用到了Flink的自定义函数，在eval转换时，java类型需要与Flink的类型对应起来，网上基本搜索不了，下面来整理下：Flink类型Java类型TINYINTjava.lang.ByteSMALLINTjava.lang.ShortINTjava.lang.IntegerBIGINTjava.lang.LongFLOATjava.lang.FloatDOUBLEjava.lang.DoubleDECIMALjava.math.

文章目录01 引言02 如何注册自定义函数？03 自定义函数分类3.1 Scalar Function3.1.1 Scalar Function如何实现？3.1.2 Scalar Function举例3.1.3 特殊返回值处理3.2 Table Function3.2.1 Table Function如何实现？3.2.2 Table Function举例3.3 Aggregation Function3.3.1 Aggregation Function如何实现？3.3.2 Aggregation

文章目录01 引言02 Flink内存管理2.1 总内存管理2.2 JobManager内存管理内存管理2.3 TaskManager内存管理03 文末01 引言在Flink的后台界面，我们可以看到整个Flink的内存情况。如：JobManager的内存情况：TaskManager的内存情况：为了深刻的理解这个Flink的内存模型，所以本文整理下Flink内存管理相关的配置及内容。声明：下面均是本人整理好的图表，转载请联系博主！地址：https://yanglinwei.blog.

文章目录01 引言02 为什么需要网络流控?03 网络流控的实现：静态限速04 网络流控的实现：动态反馈/自动反压4.1 案例一：Storm 反压实现4.2 案例二：Spark Streaming 反压实现4.3 为什么 Flink（before V1.5）没有用类似的方式实现 feedback 机制？4.4 TCP 流控机制05 Flink TCP-based 反压机制（before V1.5）5.1 跨 TaskManager 数据传输）5.2 跨 TaskManager 反压过程5.3 T

文章目录01 引言02 Flink VS Spark2.1 运行角色2.2 生态2.3 运行模型2.4 编程模型对比2.5 任务调度原理2.6 时间机制对比2.7 kafka 动态分区检测2.7.1 Spark Streaming2.7.2 Flink2.8 容错机制及处理语义2.8.1 Spark Streaming 保证仅一次处理2.8.2 Flink 与 kafka 0.11 保证仅一次处理2.9 Back pressure背压/反压2.9.1 Spark Streaming 的背压2.9.2 Fli

文章目录01 引言02 Flink内存管理2.1 Flink内存划分2.2 Flink堆外内存2.3 序列化与反序列化2.4 操纵二进制数据2.5 注意03 文末01 引言在前面的博客，我们学习了Flink的性能优化了，有兴趣的同学可以参阅下：《Flink教程（01）- Flink知识图谱》《Flink教程（02）- Flink入门》《Flink教程（03）- Flink环境搭建》《Flink教程（04）- Flink入门案例》《Flink教程（05）- Flink原理简单分析》《Fl

文章目录01 引言02 History Server03 序列化04 复用对象05 数据倾斜06 总结01 引言在前面的博客，我们学习了Flink的Metrics监控了，有兴趣的同学可以参阅下：《Flink教程（01）- Flink知识图谱》《Flink教程（02）- Flink入门》《Flink教程（03）- Flink环境搭建》《Flink教程（04）- Flink入门案例》《Flink教程（05）- Flink原理简单分析》《Flink教程（06）- Flink批流一体API（Sou

文章目录01 引言02 Metrics概述2.1 Metrics介绍2.2 Metrics 类型03 WebUI监控3.1 自定义监控指标04 REST API监控4.1 http请求获取监控数据4.1.1 获取flink任务运行状态4.1.2 获取 job 详情4.2 开发者模式获取指标url4.3 代码中Flink任务运行状态05 文末01 引言在前面的博客，我们学习了Flink的多语言开发了，有兴趣的同学可以参阅下：《Flink教程（01）- Flink知识图谱》《Flink教程（02）-

文章目录01 引言02 Scala-Flink2.1 需求2.2 准备工作2.3 代码实现2.3.1 入口类-数据解析2.3.2 数据预处理2.3.3 实时频道热点2.3.4 实时频道PV/UV03 Py-Flink3.1 环境准备3.2 官方文档3.3 示例代码04 文末01 引言在前面的博客，我们学习了Flink的高级特性了，有兴趣的同学可以参阅下：《Flink教程（01）- Flink知识图谱》《Flink教程（02）- Flink入门》《Flink教程（03）- Flink