打工日常

原创 实战之通过Zeppelin部署在K8S上使用FlinkSQL(已跑通)

这里写自定义目录标题下载zeppelin-0.9.0-preview2-bin-all.tgz使用docker构建自定义Zeppelin镜像K8S部署下载zeppelin-0.9.0-preview2-bin-all.tgz截止到目前止，zeppelin官方并没有提供zeppelin-0.9.0-preview2的官方镜像，因此我们下载tar包http://www-eu.apache.org/dist/zeppelin/zeppelin-0.9.0-preview2/zeppelin-0.9.0-pr

原创 Idea本地跑flink任务时，总是重复消费kafka的数据（kafka-＞mysql）

Idea中执行任务时，没法看到JobManager的错误，以至于我以为是什么特殊的原因导致任务总是反复消费。在close方法中，增加日志，发现jdbc连接被关闭了。重新消费，jdbc连接又启动了。注意，在Flink的函数中，open和close方法只在任务启动和结束的时候执行一次。反之，可以推理出，如果close方法被执行了，那么说明任务挂了。在本地任务中增加本地Flink UI，很明显可以看到任务在不断的重启。JobManager中有明显的Exception，就是。

原创 Flink: Only supported for operators

union算子和getsideoutput算子，都不能自定义算子名字。

原创 flink redis connector需要防止包冲突

【代码】flink redis connector需要防止包冲突。

原创 scala语言中，使用fastjson进行case class与json字符串的互转报错

不要使用fastjson，使用json4s。

原创 Flink写入MySQL时报错：CommunicationsException: The last packet successfully received from the server was

com.mysql.cj.jdbc.exceptions.CommunicationsException: The last packet successfully received from the server was 1,199,914 milliseconds ago. The last packet sent successfully to the server was 1,199,917 milliseconds ago. is longer than the server configure

原创 Flink Checkpoint过程全网独家源码详解(一)之取消任务删除checkpoint

Flink取消任务删除Checkpoint的实现及原理，全网独家详解

原创 全网关于Flink RecordWriter最全介绍

在这，你们首先要了解下，子分区和InputChannel。从下图可以看出，RecordWriter决定数据项哪个子分区，而每个子分区由唯一对应InputChannel，每个InputChannel都唯一属于某一个Task.这时你们就会问道，写往哪个子分区和写往下游哪个子Task完全是不同的概念啊，为什么都是由RecordWriter承担呢？实际上，我们最常见的说法：数据写往下游哪个子Task，就是由。RecordWriter承担，即往哪个子分区写的作用。

原创 Flink内部数据交换源码分析(二)之上游输出以及下游读取过程

讲述了Flink Operator转成Task后，粗略地讲解如何从上游获取获取数据、反序列化、处理数据、序列化、发往下游的整个流程。上文并没有详细的解释，是如何将数据写出去的？上篇文章中讲述了StreamTask线程在跑起来的过程，就是处理数据的过程。当然文中还给自己留有好几个坑位。所谓的坑位是指在这篇文章中不详细叙述，后续专门写文章来讲解的。本文的目的，就是用容易让人理解的方式将这个过程写出来。Flink内部数据交换是如何做的？为什么Flink是天然具备反压的？反压在源码里是如何体现的？

原创 Flink内部数据交换源码分析(一)

此时map算子经过图流转后，会转换成StreamMap算子，从上游读进来的数据反序列化后，交给StreamMap的processElement方法处理，首先用用户自定义的MapFunction去处理数据得到新数据，然后将新数据替换掉StreamRecord中的value值，替换完成后，将StreamRecord通过output.collect发往下游。这个方法会处理从上游算子中(InputGate或者算子链内是直接从上游拿)的数据，使用用户自定义函数处理完后，会使用Output.collect发往下游。

原创 灵魂解答Flink错误Could not forward element to next operator

看网上很多同学说，是什么watermark的eventTime为空、数据源段出现脏数据，存在null值导致、要改什么时间格式等等解释，都没有触及这个错误的灵魂。Could not forward element to next operator错误，就应该知道为什么会报？该如何解决这个问题？...

原创 从源码角度看Flink从上游获取数据、处理数据并发往下游算子的过程关键StreamInputProcessor

NonReusingDeserializationDelegate中的instance属性，就是用来存储从上游的MemorySegment的数据反序列化后的数据，在其read方法中反序列化。它的作用是使用当前算子的处理逻辑处理反序列化后的数据，再通过out.collect发送到下游，开启下一个循环。初始化的目的是为了建立获取上游算子发送过来的数据，并反序列化，再将反序列化后的数据交给当前算子处理，处理完后，发往下游整个过程的通道。其实，目前只有一个输入和两个输入，多个输入的情况是依赖于两个输入实现的。...

原创 面试官问：Flink内部数据在算子链内外如何交换？Flink为何能高效处理数据？你该怎么回答呢？

当数据来到时，会经过StreamMap的processElement方法，再经过output.collect()，这里的output是指CountingOutput，因此调用CountingOutput的collect方法。StreamConfig是在生成StreamGraph过程中为每个算子生成的，其中noChainedOutput是指没有形成算子链的StreamEdge，chainedOutput是指形成算子链的StreamEdge。首先创建map的输出output。每个算子都是独立的算子链。.....

原创 深入浅出解析Flink内存管理1--自动与自主内存管理

Flink中大量采用JAVA语言编写，JAVA语言的好处就是不用考虑底层，JVM会对代码进行深度优化，并对内存资源进行管理，自动回收内存。而缺点也在这里，自动就意味着不可控。基于JVM的大数据引擎，在处理海量数据时，如何在内存中储存大量的数据？...

原创 Airbyte check source源码解读(二)之启动Mysql镜像以及校验Mysql连接

在这个docker命令中，可以看到 =""，后面跟了一个check命令，我就在想，mysql是怎么识别check和--config的？

原创 Airbyte check source源码解读(一)之前后端交互以及Docker命令组装

包含sourceDefinitionId、connectionConfiguration两块。将connectionConfiguration放到partialConfig，再将sourceDefinitionId和partialConfig放到SourceConnection中。

原创 Airbyte建立connection(二)之读取Source和写入Destination源码解读

在《airbyte建立connection源码解读(一)》一文中，介绍过airbyte是如何同步数据。但是只介绍了airbyte是通过Worker监听Source的标准输出和Destination的标准输入进行同步。Source的标准输出怎么就是从Source中读取的真实数据呢，是个什么样的原理呢？Destination的标准输入就一定是查询的结果呢？...

原创 airbyte源码connection(一)之Worker如何监控Source和Destination（数据集成）

首先介绍airbyte的整体架构。airbyte-api：web接口airbyte-server：web接口对应的服务端Handler中对应一个又一个的接口airbyte-scheduler：调度服务airbyte-integrations:Source、Destination

原创 mac使用airbyte源码编译时报错compiled by a more recent version of the Java Runtime (class file version 55.0)

has been compiled by a more recent version of the Java Runtime (class file version 55.0), this version of the Java Runtime only recognizes class file versions up to 52.0

原创 使用Flink时遭遇数据倾斜，怎么办？

无

原创 遇到Flink反压，如何着手解决？

遇到Flink反压，如何着手解决？

原创 Flink生产环境Checkpoint设置

Flink生产环境Checkpoint设置

原创 Flink生产过程中RocksDB状态调优

Flink生产过程中RocksDB状态调优

原创 Flink生产过程中并行度的设置

Flink生产过程中并行度的设置

原创 Flink TaskManager内存管理以及常见内存故障排查

Flink TaskManager内存管理以及常见内存故障排查

原创 使用Reactive模式时，JobManager无法打印出日志，报FileNotFoundException: /opt/flink/conf/log4j.properties

无

原创 Flink K8S native+application mode任务，总报DuplicateJobSubmissionException:Job has already been submitted

这篇是2022年第二篇文章，同样都是心血之作，文章主要描述了Flink是如何同步任务运行状态的？任务运行完、失败、取消后是如何通知Flink的？包括ApplicationStatus和JobStatus的关系等等。

原创 从源码角度解析Flink如何知道任务运行、结束、取消、失败？

因为生产需求，从而催生这篇文章。今年是2022年，新的一年，祝每个程序员们都能拿到想要的奖金，哈哈哈，新年第一篇文章，免费分享~~点击！点击！点击此处！部分文章截图如下：...

原创 Flink K8S native模式下任务异常、取消、停止是如何做到销毁所有资源的？

原创文章，抄袭必追责！

原创 Flink Standalone不仅仅只是分布式

原创，请勿抄袭，抄袭不追责！！

原创 Flink k8s native application mode模式提交流程源码解析终结版

文章部分截图如下：本文很长，内容讲的也很详细。更多详细内容请看如下链接：【腾讯文档】Flink k8s native application mode模式提交流程源码解析终结版https://docs.qq.com/doc/DRkF1YUZPdVB5UGJO如无法查看，请先购买付费专栏，再备注昵称申请查看权限。已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解...

原创 Flink k8s native application mode模式提交流程图文版总结

文章部分截图如下：更多详细内容请看如下链接：【腾讯文档】Flink k8s native application mode模式提交流程图文版总结https://docs.qq.com/doc/DRkJZR3dEY2hJZm9Z如无法查看，请先购买付费专栏，再备注昵称申请查看权限。已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解...

原创 使用K8S native Application Mode，将Flink 1.11升级到1.13，TaskManager启动又立马挂掉

原创 Zeppelin结合Flink1.11以及flink-cdc-connector的SQL使用（已跑通）

已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。文章部分截图如下：更多详细内容请看如下链接：【腾讯文档】Zeppelin结合Flink1.11以及flink-cdc-connector的SQL使用（已跑通）...

原创 Flink反压导致CheckPoint失败，进而任务重启问题的解决思路

已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。文章部分截图如下：更多详细内容请见以下链接：【腾讯文档】Flink反压导致CheckPoint失败，进而任务重启问题的解决思路...

原创 上传文件到云上时，Springboot报错：java.io.EOFException: Unexpected EOF read on the socket

已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。文章部分截图如下：更多内容请查看以下链接：【腾讯文档】上传文件到云上时，Springboot报错：java.io.EOFException Unexpected EOF read on the socket...

原创 使用Flink cdc connector时，如果将一个change-log的数据源中使用TIMESTAMP类型时报错

已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看全新，谢谢配合，谢谢理解。报错如下：11665 [debezium-engine] ERROR com.alibaba.ververica.cdc.debezium.DebeziumSourceFunction - Reporting error:java.lang.IllegalArgumentException: Unable to convert to LocalDateTime from unexpected va

原创 当在代码中使用Flink1.11.0版本时，如果将一个change-log的数据源insert到一个upsert sink时报错

报错如下：[ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.TableException: Provided trait [BEFORE_AND_AFTER] can't satisfy required trait [ONLY_UPDATE_AFTER]. This is a bug in planner, please file an issue. Current node is TableSo

原创 Flink K8S native模式下，pod重启，重启原因是报错 too old resource version

已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看全新，谢谢配合，谢谢理解。更多内容请查看以下链接：【腾讯文档】Flink K8S native模式下，pod重启，重启原因是报错 too old resource version...

原创 Flink1.13使用TIMESTAMP解析时间报解析错误：java.time.format.DateTimeParseException: Text ‘2020-11-19T09:48:45Z‘ c

已付费购买专栏的朋友，请在***申请查看权限时，备注你的CSDN名称***才能通过查看全新，谢谢配合，谢谢理解。文章部分截图如下：更多内容请查看以下链接：【腾讯文档】Flink1.13使用TIMESTAMP解析时间报解析错误：java.time.format.DateTimeParseException Text ‘2020-11-19T094845Z’ could not be parsed at index 10...