大数据
文章平均质量分 82
正东偏西
这个作者很懒,什么都没留下…
展开
-
Flink 组共享原理
本文将主要结合流程图,代码注释及要点标注进行讲解 Flink 组共享的代码逻辑,帮助读者从设计原理层更好的理解Flink Job的slot分配结果。提高对Flink Job 资源分配的理解能力。在阅读本文之前,需要读者能够对 Flink StreamGraph & JobGraph有一定的基础概念了解。1.1 核心类 ExecutionSlotSharingGroupBuilder1.2 类主要属性如下//...// 其他代码占位符 private static class Exe原创 2021-03-29 23:11:40 · 632 阅读 · 0 评论 -
Apache Hudi 表目录结构
Apache Hudi 表目录结构记录**一部分** 表目录结构和文件格式。便于对 Hudi 的设计理念和表的组织格式进行直观的理解。数据由官网示例运行后产生。一、COW 表类型组织逻辑表名字为 stock_ticks_cowPermissionOwnerGroupSizeLast ModifiedReplicationBlock SizeNamedrwxr-xr-xrootsupergroup0 BOct 15 16:2000 B.hoodie原创 2020-10-15 19:27:22 · 2334 阅读 · 0 评论 -
走近Kafka之源码阅读环境的构建
走近Kafka之源码阅读环境的构建以2.4版本代码分支为例以kafka官方文档为参考构建准备:[Ubuntu 18 安装] Linux衍生系统[Java 1.8+ 版本安装] Java环境[Gradle 5.6.4 版本安装]Kafka源代码编译构建工具[Git安装] 代码管理[zookeeper 安装] kafka集群构建/调试使用[Scala 2.12.10 ...原创 2020-02-13 22:26:59 · 120 阅读 · 0 评论 -
Flink 1.10源代码编译,基于Flink release-1.10分支
Flink源代码编译部署以release-1.10版本为例以 Flink官方文档 为参考构建准备:Ubuntu 18 安装 Linux衍生系统Python 2.*.*系列版本 Flink-release10专门用到的基础环境,和flink-runtime-web模块构建相关Java 1.8+ 版本安装 Java环境Maven 3.3+ 版本安装编译构...原创 2020-02-07 16:46:49 · 2696 阅读 · 1 评论