大数据
文章平均质量分 82
正东偏西
这个作者很懒,什么都没留下…
展开
-
Flink 组共享原理
本文将主要结合流程图,代码注释及要点标注进行讲解 Flink 组共享的代码逻辑,帮助读者从设计原理层更好的理解Flink Job的slot分配结果。提高对Flink Job 资源分配的理解能力。在阅读本文之前,需要读者能够对 Flink StreamGraph & JobGraph有一定的基础概念了解。 1.1 核心类 ExecutionSlotSharingGroupBuilder 1.2 类主要属性如下 //...// 其他代码占位符 private static class Exe原创 2021-03-29 23:11:40 · 595 阅读 · 0 评论 -
Apache Hudi 表目录结构
Apache Hudi 表目录结构 记录**一部分** 表目录结构和文件格式。便于对 Hudi 的设计理念和表的组织格式进行直观的理解。 数据由官网示例运行后产生。 一、COW 表类型组织逻辑 表名字为 stock_ticks_cow Permission Owner Group Size Last Modified Replication Block Size Name drwxr-xr-x root supergroup 0 B Oct 15 16:20 0 0 B .hoodie原创 2020-10-15 19:27:22 · 2273 阅读 · 0 评论 -
走近Kafka之源码阅读环境的构建
走近Kafka之源码阅读环境的构建 以2.4版本代码分支为例 以kafka官方文档为参考 构建准备: [Ubuntu 18 安装] Linux衍生系统 [Java 1.8+ 版本安装] Java环境 [Gradle 5.6.4 版本安装] Kafka源代码编译构建工具 [Git安装] 代码管理 [zookeeper 安装] kafka集群构建/调试使用 [Scala 2.12.10 ...原创 2020-02-13 22:26:59 · 103 阅读 · 0 评论 -
Flink 1.10源代码编译,基于Flink release-1.10分支
Flink源代码编译部署 以release-1.10版本为例 以 Flink官方文档 为参考 构建准备: Ubuntu 18 安装 Linux衍生系统 Python 2.*.*系列版本 Flink-release10专门用到的基础环境,和flink-runtime-web模块构建相关 Java 1.8+ 版本安装 Java环境 Maven 3.3+ 版本安装 编译构...原创 2020-02-07 16:46:49 · 2678 阅读 · 1 评论