公开专栏
关注
分享
扫一扫
文章均为试读文章，更多试读文章的内容可以关注微信公众号：BeBetter4Me
Better~Me
请已购买CSDN专栏的朋友，申请时附加购买账号的CSDN昵称，否则，不予通过查看权限
展开
-
Flink Checkpoint过程全网独家源码详解(一)之取消任务删除checkpoint
Flink取消任务删除Checkpoint的实现及原理，全网独家详解原创 2022-10-13 20:27:23 · 1148 阅读 · 1 评论 -
全网关于Flink RecordWriter最全介绍
在这，你们首先要了解下，子分区和InputChannel。从下图可以看出，RecordWriter决定数据项哪个子分区，而每个子分区由唯一对应InputChannel，每个InputChannel都唯一属于某一个Task.这时你们就会问道，写往哪个子分区和写往下游哪个子Task完全是不同的概念啊，为什么都是由RecordWriter承担呢？实际上，我们最常见的说法：数据写往下游哪个子Task，就是由。RecordWriter承担，即往哪个子分区写的作用。原创 2022-09-21 15:28:38 · 683 阅读 · 1 评论 -
Flink内部数据交换源码分析(二)之上游输出以及下游读取过程
讲述了Flink Operator转成Task后，粗略地讲解如何从上游获取获取数据、反序列化、处理数据、序列化、发往下游的整个流程。上文并没有详细的解释，是如何将数据写出去的？上篇文章中讲述了StreamTask线程在跑起来的过程，就是处理数据的过程。当然文中还给自己留有好几个坑位。所谓的坑位是指在这篇文章中不详细叙述，后续专门写文章来讲解的。本文的目的，就是用容易让人理解的方式将这个过程写出来。Flink内部数据交换是如何做的？为什么Flink是天然具备反压的？反压在源码里是如何体现的？原创 2022-09-17 15:56:27 · 714 阅读 · 0 评论 -
Flink内部数据交换源码分析(一)
此时map算子经过图流转后，会转换成StreamMap算子，从上游读进来的数据反序列化后，交给StreamMap的processElement方法处理，首先用用户自定义的MapFunction去处理数据得到新数据，然后将新数据替换掉StreamRecord中的value值，替换完成后，将StreamRecord通过output.collect发往下游。这个方法会处理从上游算子中(InputGate或者算子链内是直接从上游拿)的数据，使用用户自定义函数处理完后，会使用Output.collect发往下游。原创 2022-09-14 15:40:16 · 789 阅读 · 0 评论 -
灵魂解答Flink错误Could not forward element to next operator
看网上很多同学说，是什么watermark的eventTime为空、数据源段出现脏数据，存在null值导致、要改什么时间格式等等解释，都没有触及这个错误的灵魂。Could not forward element to next operator错误，就应该知道为什么会报？该如何解决这个问题？...原创 2022-08-12 17:28:52 · 3304 阅读 · 0 评论 -
从源码角度看Flink从上游获取数据、处理数据并发往下游算子的过程关键StreamInputProcessor
NonReusingDeserializationDelegate中的instance属性，就是用来存储从上游的MemorySegment的数据反序列化后的数据，在其read方法中反序列化。它的作用是使用当前算子的处理逻辑处理反序列化后的数据，再通过out.collect发送到下游，开启下一个循环。初始化的目的是为了建立获取上游算子发送过来的数据，并反序列化，再将反序列化后的数据交给当前算子处理，处理完后，发往下游整个过程的通道。其实，目前只有一个输入和两个输入，多个输入的情况是依赖于两个输入实现的。...原创 2022-08-12 09:10:58 · 462 阅读 · 0 评论 -
面试官问：Flink内部数据在算子链内外如何交换？Flink为何能高效处理数据？你该怎么回答呢？
当数据来到时，会经过StreamMap的processElement方法，再经过output.collect()，这里的output是指CountingOutput，因此调用CountingOutput的collect方法。StreamConfig是在生成StreamGraph过程中为每个算子生成的，其中noChainedOutput是指没有形成算子链的StreamEdge，chainedOutput是指形成算子链的StreamEdge。首先创建map的输出output。每个算子都是独立的算子链。.....原创 2022-08-12 08:56:35 · 667 阅读 · 0 评论 -
Airbyte check source源码解读(二)之启动Mysql镜像以及校验Mysql连接
在这个docker命令中，可以看到 =""，后面跟了一个check命令，我就在想，mysql是怎么识别check和--config的？原创 2022-07-25 15:20:26 · 588 阅读 · 0 评论 -
Airbyte check source源码解读(一)之前后端交互以及Docker命令组装
包含sourceDefinitionId、connectionConfiguration两块。将connectionConfiguration放到partialConfig，再将sourceDefinitionId和partialConfig放到SourceConnection中。原创 2022-07-25 15:17:17 · 560 阅读 · 0 评论 -
Airbyte建立connection(二)之读取Source和写入Destination源码解读
在《airbyte建立connection源码解读(一)》一文中，介绍过airbyte是如何同步数据。但是只介绍了airbyte是通过Worker监听Source的标准输出和Destination的标准输入进行同步。Source的标准输出怎么就是从Source中读取的真实数据呢，是个什么样的原理呢？Destination的标准输入就一定是查询的结果呢？...原创 2022-07-25 15:11:46 · 804 阅读 · 0 评论 -
airbyte源码connection(一)之Worker如何监控Source和Destination（数据集成）
首先介绍airbyte的整体架构。airbyte-api：web接口airbyte-server：web接口对应的服务端Handler中对应一个又一个的接口airbyte-scheduler：调度服务airbyte-integrations:Source、Destination原创 2022-07-24 15:23:05 · 498 阅读 · 0 评论 -
mac使用airbyte源码编译时报错compiled by a more recent version of the Java Runtime (class file version 55.0)
has been compiled by a more recent version of the Java Runtime (class file version 55.0), this version of the Java Runtime only recognizes class file versions up to 52.0原创 2022-07-15 18:11:23 · 1144 阅读 · 20 评论 -
使用Flink时遭遇数据倾斜，怎么办？
无原创 2022-03-07 06:43:04 · 2409 阅读 · 0 评论 -
遇到Flink反压，如何着手解决？
遇到Flink反压，如何着手解决？原创 2022-03-03 16:45:26 · 298 阅读 · 0 评论 -
Flink生产环境Checkpoint设置
Flink生产环境Checkpoint设置原创 2022-02-26 14:40:18 · 911 阅读 · 0 评论 -
Flink生产过程中RocksDB状态调优
Flink生产过程中RocksDB状态调优原创 2022-02-26 12:11:47 · 1154 阅读 · 0 评论 -
Flink生产过程中并行度的设置
Flink生产过程中并行度的设置原创 2022-02-26 09:31:58 · 653 阅读 · 0 评论 -
Flink TaskManager内存管理以及常见内存故障排查
Flink TaskManager内存管理以及常见内存故障排查原创 2022-02-25 23:19:53 · 738 阅读 · 0 评论 -
使用Reactive模式时，JobManager无法打印出日志，报FileNotFoundException: /opt/flink/conf/log4j.properties
无原创 2022-01-27 18:11:48 · 1680 阅读 · 0 评论 -
Flink K8S native+application mode任务，总报DuplicateJobSubmissionException:Job has already been submitted
这篇是2022年第二篇文章，同样都是心血之作，文章主要描述了Flink是如何同步任务运行状态的？任务运行完、失败、取消后是如何通知Flink的？包括ApplicationStatus和JobStatus的关系等等。原创 2022-01-02 21:49:14 · 938 阅读 · 0 评论 -
从源码角度解析Flink如何知道任务运行、结束、取消、失败？
因为生产需求，从而催生这篇文章。今年是2022年，新的一年，祝每个程序员们都能拿到想要的奖金，哈哈哈，新年第一篇文章，免费分享~~点击！点击！点击此处！部分文章截图如下：...原创 2022-01-02 11:34:10 · 1131 阅读 · 1 评论 -
Flink k8s native application mode模式提交流程源码解析终结版
文章部分截图如下：本文很长，内容讲的也很详细。更多详细内容请看如下链接：【腾讯文档】Flink k8s native application mode模式提交流程源码解析终结版https://docs.qq.com/doc/DRkF1YUZPdVB5UGJO如无法查看，请先购买付费专栏，再备注昵称申请查看权限。已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解...原创 2021-12-25 00:59:44 · 1035 阅读 · 0 评论 -
Flink k8s native application mode模式提交流程图文版总结
文章部分截图如下：更多详细内容请看如下链接：【腾讯文档】Flink k8s native application mode模式提交流程图文版总结https://docs.qq.com/doc/DRkJZR3dEY2hJZm9Z如无法查看，请先购买付费专栏，再备注昵称申请查看权限。已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解...原创 2021-12-25 00:54:56 · 603 阅读 · 0 评论 -
使用K8S native Application Mode，将Flink 1.11升级到1.13，TaskManager启动又立马挂掉
原创 2021-12-25 00:46:15 · 412 阅读 · 0 评论 -
Zeppelin结合Flink1.11以及flink-cdc-connector的SQL使用（已跑通）
已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。文章部分截图如下：更多详细内容请看如下链接：【腾讯文档】Zeppelin结合Flink1.11以及flink-cdc-connector的SQL使用（已跑通）...原创 2021-12-19 16:51:08 · 738 阅读 · 0 评论 -
Flink反压导致CheckPoint失败，进而任务重启问题的解决思路
已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。文章部分截图如下：更多详细内容请见以下链接：【腾讯文档】Flink反压导致CheckPoint失败，进而任务重启问题的解决思路...原创 2021-12-19 16:38:58 · 963 阅读 · 0 评论 -
上传文件到云上时，Springboot报错：java.io.EOFException: Unexpected EOF read on the socket
已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。文章部分截图如下：更多内容请查看以下链接：【腾讯文档】上传文件到云上时，Springboot报错：java.io.EOFException Unexpected EOF read on the socket...原创 2021-12-19 16:31:43 · 753 阅读 · 0 评论 -
使用Flink cdc connector时，如果将一个change-log的数据源中使用TIMESTAMP类型时报错
已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看全新，谢谢配合，谢谢理解。报错如下：11665 [debezium-engine] ERROR com.alibaba.ververica.cdc.debezium.DebeziumSourceFunction - Reporting error:java.lang.IllegalArgumentException: Unable to convert to LocalDateTime from unexpected va原创 2021-12-19 16:22:28 · 1612 阅读 · 0 评论 -
当在代码中使用Flink1.11.0版本时，如果将一个change-log的数据源insert到一个upsert sink时报错
报错如下：[ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.TableException: Provided trait [BEFORE_AND_AFTER] can't satisfy required trait [ONLY_UPDATE_AFTER]. This is a bug in planner, please file an issue. Current node is TableSo原创 2021-12-19 16:18:07 · 504 阅读 · 0 评论 -
Flink K8S native模式下，pod重启，重启原因是报错 too old resource version
已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看全新，谢谢配合，谢谢理解。更多内容请查看以下链接：【腾讯文档】Flink K8S native模式下，pod重启，重启原因是报错 too old resource version...原创 2021-12-19 16:14:02 · 475 阅读 · 0 评论 -
Flink1.13使用TIMESTAMP解析时间报解析错误：java.time.format.DateTimeParseException: Text ‘2020-11-19T09:48:45Z‘ c
已付费购买专栏的朋友，请在***申请查看权限时，备注你的CSDN名称***才能通过查看全新，谢谢配合，谢谢理解。文章部分截图如下：更多内容请查看以下链接：【腾讯文档】Flink1.13使用TIMESTAMP解析时间报解析错误：java.time.format.DateTimeParseException Text ‘2020-11-19T094845Z’ could not be parsed at index 10...原创 2021-12-19 15:59:35 · 1252 阅读 · 0 评论 -
Flink1.13sql提交任务报错ClassNotFoundException:org.apache.kafka.common.serialization.ByteArrayDeserializer
详情请见：【腾讯文档】Flink1.13.3 sql-client提交kafka任务报错：java.lang.ClassNotFoundException org.apache.kafka.common.serialization.ByteArrayDeserializerhttps://docs.qq.com/doc/DRmNnbVhwTVNhd25N原创 2021-12-19 15:43:27 · 1564 阅读 · 0 评论 -
Flink K8S模式采用KubernetesHaServicesFactory类来做HA(高可用)，HA数据存储在哪里？又存了些什么？
原创 2021-12-12 21:52:05 · 903 阅读 · 0 评论 -
Flink1.14源码解析Reactive-mode自动扩缩容
原创 2021-12-12 21:49:34 · 916 阅读 · 0 评论 -
Flink源码解析算子与算子之间的数据是根据什么规则分发到下游的？让你更好的理解Flink流式处理
原创 2021-12-12 21:46:40 · 802 阅读 · 0 评论 -
Flink执行SQL语句报错：No operators defined in streaming topology. Cannot generate StreamGraph
已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。文章部分截图如下：更多详情请见以下链接：【腾讯文档】Flink执行SQL语句报错：No operators defined in streaming topology. Cannot generate StreamGraph...原创 2021-12-11 01:13:07 · 532 阅读 · 0 评论 -
Flink1.14 源码报错Could not transfer artifact io.confluent:kafka-schema-registry-client from/to maven地址
已付费购买专栏的朋友，请在申请查看权限时，备注你的CSDN名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。更多详情请见以下链接：【腾讯文档】Flink1.14 源码编译报错Could not transfer artifact io.confluentkafka-schema-registry-client fromto maven地址...原创 2021-12-11 01:07:11 · 596 阅读 · 0 评论 -
flink+prometheus reporter中自定义metrics的scopename中去掉metricgroup的key，只显示metric名
最近遇到一个需求，就是业务方需要自定义metric，并且metric中不能有metricgroup。比如：flink_taskmanager_job_task_operater_numCount{groupName=“1”,appName=47.387434398493,…}。刚开始，本人理解错了，以为就是简单的增加自定义metric，我就想，flink本身就支持啊，就将如下代码发了过去： override def map(value: SensorReading): SensorReading原创 2021-04-18 18:26:30 · 519 阅读 · 0 评论 -
Flink原生K8S模式下pod重启导致pod中的flink jobId变化不利于实时大数据分析定制平台的监控
Flink原生K8S模式下pod重启导致pod中的flink jobId变化不利于实时大数据分析定制平台的监控。如何解决呢？精彩答案可以查看公众号：BeBetter4Me原创 2021-02-16 22:24:37 · 435 阅读 · 0 评论 -
K8S上新建Flink1.11,scala2.11的session集群，启动成功后taskmanager个数为0
报错翻译如下：/data/flink-data/tmp/jaas-5208932266620378583.conf 无法新建。解决办法可以查看公众号：BeBetter4Me原创 2021-02-16 22:04:40 · 406 阅读 · 0 评论