![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 92
狄杰丶
单创数据平台负责人
展开
-
Apache Iecberg 从入门到放弃(3) —— 源码系列之Flink读过程分析
背景介绍上一章和带大家了解了一下Iceberg的元数据文件特殊之处,也简单的给大家描述了一下Iceberg是如何从快速定位到数据文件的,上一章将的比较干,因为都是一些理论知识,这一章我们从iceberg-flink模块的源码出发,带大家更加深入的了解Iceberg注意:本次源码分析基于Iceberg 0.11x分支,主要是讲解iceberg-flink模块,其余模块因为暂未深入了解所以会跳过,敬请见谅;并且如果有任何地方讲述不当,请直接指出另外,需要对Iceberg和Flink都一定的基础,否则会出现原创 2021-04-24 18:33:28 · 2256 阅读 · 8 评论 -
记一次TopN 引起的Flink任务报错
解决由TopN+canal-json引起的Flink报错问题原创 2020-10-26 18:47:26 · 1874 阅读 · 2 评论 -
Flink 如何将聚合结果写入kafka ——读写canal-json
概述1.11版本最重要的特性Hive Streaming在之前的博客,包括Flink中文社区的微信公众号上,都和大家聊过不少次了。那么除此之外,还有什么特性值得大家关注呢?CDC数据的解析:可以解析canal、debezium推到kafka中的binlog;如果在binlog中是个DELETE的操作,那么会自动解析成撤回流,将之前那条下发过的数据撤回;美中不足的是,只支持读,不支持写,这也就以为着无法将撤回流写入kafkaPostgres Catalog:如果要用Postgres中的表,不需要再C原创 2020-08-05 14:57:16 · 6387 阅读 · 2 评论