flink
文章平均质量分 81
工作或学习中获得的理解与认知~
工作中的程序员
加油~
展开
-
flink cdc mysql整理与总结
1、FlinkCDC 提供了对 Debezium 连接器的封装和集成,简化了配置和使用的过程,并提供了更高级的 API 和功能,例如数据格式转换、事件时间处理等。Flink CDC 使用 Debezium 连接器作为底层的实现,将其与 Flink 的数据处理能力结合起来。通过配置和使用 Flink CDC,您可以轻松地将数据库中的变化数据流转化为 Flink 的 DataStream 或 Table,并进行实时的数据处理、转换和分析。2、Flink的DataStream和SQL比较成熟和易用。原创 2024-05-26 17:28:25 · 1209 阅读 · 0 评论 -
flink要点
在 Flink 的 Aligned checkpoints 机制中,当触发检查点操作时,所有并行任务都会暂停当前的处理,并等待所有上游数据的检查点栅栏(Checkpoint Barrier)到达。相对于传统的 Aligned checkpoints,Unaligned checkpoints 提供了更高的效率和更低的处理延迟。在 Flink 中,Timer(定时器)是处理时间相关逻辑的核心机制之一,尤其适用于需要在特定时间点执行操作的场景。:在基于时间的窗口操作中,Timer 用于触发窗口的计算与关闭。翻译 2024-05-21 17:33:25 · 27 阅读 · 0 评论 -
flink优化案例
CheckPoint说明:每个需要checkpoint的应用在启动时,Flink的JobManager为其创建一个CheckpointCoordinator,CheckpointCoordinator全权负责本应用的快照制作。CheckpointCoordinator周期性的向该流应用的所有source算子发送barrier;原创 2024-05-13 17:30:41 · 976 阅读 · 1 评论 -
flink sql 优化
不是所有job资源越堆越多好。有时作业的复杂或数据的特殊情况(外部系统性能除外,例如写数据库),增加资源只会让job性能越来越差或报错(亲身经历job性能差,特别痛苦,一直加资源性能还是差或运行报错)。需要不断找根源问题,多使用不同方法测试才能找到适合job的处理性能。如果优化很多次后job性能还是很差(资源给的很多性能还是不理想)(略增加一些资源)可以将一个job拆分两个job(将占用比较多的业务数据(50%更好)在新的job单独处理)原创 2024-05-05 20:14:13 · 2120 阅读 · 6 评论 -
Flink 内存梳理与遇到的问题修复
flink原创 2024-03-23 16:05:05 · 1043 阅读 · 0 评论 -
flink sql job时区设置
参考文档:https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/table/config/#table-local-time-zone。原创 2024-03-12 18:48:09 · 747 阅读 · 2 评论 -
flink自定义connetor和自定义sink动态多表写数据
【代码】flink自定义connetor和自定义sink动态多表写数据。原创 2024-02-29 11:27:51 · 437 阅读 · 0 评论 -
flink 组件说明
对于流处理程序,Flink Job 的 State Backend 决定了其 state 是如何存储在每个 TaskManager 上的( TaskManager 的 Java 堆栈或嵌入式 RocksDB),以及它在 checkpoint 时的写入位置( Flink JobManager 的 Java 堆或者 Filesystem)。它是基本的工作单元,由 Flink 的 runtime 来执行。Flink 应用程序集群是一种专用的Flink 集群,仅从一个Flink 应用程序执行Flink 作业。原创 2024-02-05 18:09:10 · 1008 阅读 · 0 评论 -
Flink Task 生命周期
因为 task 是算子并行实例的执行实体,所以它的生命周期跟算子的生命周期紧密联系在一起。因此,在深入介绍 StreamTask 生命周期之前,先简要介绍一下代表算子生命周期的基本方法。这些方法按调用的先后顺序如下所示。考虑到算子可能是用户自定义函数(UDF),因此我们在每个算子下也展示(以缩进的方式)了 UDF 生命周期中调用的各个方法。翻译 2024-02-05 19:11:26 · 47 阅读 · 0 评论 -
flink 作业调度
提示:这篇文档简要描述了 Flink 怎样调度作业, 怎样在 JobManager 里描述和追踪作业状态(官网整理学习)翻译 2024-02-05 19:27:44 · 32 阅读 · 0 评论 -
阿里云flink sql报错 List of column aliases must have same degree as table; table has 1 column
因为我这边使用flink的Row类做存放数据并返回给调用方collect(row),所以注解使用@DataTypeHint("ROW...等做指定输出类型。添加注解@DataTypeHint指定输入和输出类型(如下代码片段)使用阿里云 flink 全托管写UDTF时提交使用函数报错如下。代码提交后,阿里云 flink sql语法检查正常。原创 2024-02-23 11:14:44 · 626 阅读 · 0 评论 -
flink状态后端与Checkpoint联系
主要特性:持久化存储:RocksDBStateBackend 将 Flink 任务的状态持久化到 RocksDB 中,这使得状态能够在任务失败或重新启动时得以恢复。高性能:RocksDB 是一个高性能的键值存储引擎,它在处理大量数据时表现出色。RocksDBStateBackend 利用 RocksDB 的性能优势,提供快速的状态读写操作。本地存储: RocksDBStateBackend 可以将状态存储在本地文件系统上,因此它不依赖外部的分布式存储系统。原创 2024-02-27 16:01:59 · 1205 阅读 · 0 评论