yiweiyi329的博客

flink读写kafka保证exactly-once

flink读iceberg

iceberg源码学习

flink消费kafka

flink1.15源码实践

目录开始构建checkpointJobmanager启动checkpoint调度SourceStreamTask的Checkpoint执行Task上报checkpoint信息JobManager通知Task进行commit开始checkpoint流程入口：# Dispatcher.runJob(JobGraph jobGraph)private CompletableFuture<Void> runJob(JobGraph jobGraph) { Preconditions.chec

目录开始继承关系底层调用实例与过程分析实例总结开始flink写iceberg时，IcebergStreamWriter的open()方法中，会调用TaskWriterFactory.create()，会创建四种类型的写（UnpartitionedDeltaWriter/UnpartitionedWriter/PartitionedDeltaWriter/RowDataPartitionedFanoutWriter），本文主要追踪这四种类型的写。其中，IcebergStreamWriter.open()

flink写iceberg报错场景：flink sink iceberg时，使用equalityFieldColumns指定字段时，报错如下：java.lang.IllegalArgumentException: Cannot write delete files in a v1 table at org.apache.iceberg.ManifestFiles.writeDeleteManifest(ManifestFiles.java:154) at org.apache.iceberg.Sna

这里写自定义目录标题开始实例IcebergStreamWriterIcebergFilesCommitterflink task执行流程参考开始实例flink支持DataStream和DataStream写入icebergStreamExecutionEnvironment env = ...;DataStream<RowData> input = ... ;Configuration hadoopConf = new Configuration();TableLoader tab

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

目录环境下载相关jar包启动flink集群与flink sql创建数据库并选择创建flink sql表结构查询结果环境flink 1.11版本Mac系统下载相关jar包flink sql读取kafka需要下载相关的kafka依赖包，放到本地的lib目录下，选择下面这个：cd /usr/local/Cellar/apache-flink/1.11.2/libexec/libcp ~/Downloads/flink-sql-connector-kafka_2.11-1.11.2.jar .启动

flink实现读取kafka写入pulsar相关pom依赖序列化反序列化实现相关pom依赖将本实例的flink程序相关的依赖加进来：序列化反序列化需要实现序列化反序列化去读取和写入，实现类如下：实现

flink table实例欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用

1、flink任务无法从checkpoint启动场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。报错如下：java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.

一、时间概念类型事件生成时间（event time） 每个独立事件在产生它的设备上发生的时间，在事件进入flink之前就已经嵌入到事件中，事件顺序取决于事件产生的地方和下游数据处理系统的时间无关，具有不变形。基于事件生成时间，数据处理过程依赖于数据本身产生的时间，这样能够借助于事件产生时的时间信息来还原事件的先后关系。接入时间（ingestion time） 摄入时间是事件...

Flink 中定义了DataStream API让用户灵活且高效地编写Flink流式应用。DataStream API主要可分为三个部分，DataSource模块、Transformation模块以及DataSink模块。其中DataSource模块主要定义了数据接入功能，主要是将各种外部数据接入至Flink系统中，并将接入数据转换成对应的DataStream数据集。在Transforma...

本教程主要来自flink1.9教程设置Maven项目 编写Flink程序 在集群上运行并写入kafka 在本指南中，我们将从头开始，从设置Flink项目到在Flink集群上运行流分析程序。 Wikipedia提供了一个IRC频道，其中记录了对Wiki的所有编辑。我们将在Flink中读取此通道，并计算每个用户在给定时间窗口内编辑的字节数。这很容易使用Flink在几分...

1、安装kafka（mac版）：brew install kafka2、启动zookeeper、kafka、flink：zookeeper：/usr/local/Cellar/zookeeper/3.4.13/bin/zkServer startkafka：/usr/local/Cellar/kafka/2.1.1/bin/kafka-server-start /usr/local/e...