95-862-038-源码-runtime-blob-Flink中支持的BLOB文件类型

最新推荐文章于 2024-03-27 18:40:20 发布

九师兄

最新推荐文章于 2024-03-27 18:40:20 发布

阅读量217

点赞数

分类专栏：大数据-flink 文章标签： flink

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/120160994

版权

大数据-flink 专栏收录该内容

839 篇文章 848 订阅 ¥99.90 ¥299.90

订阅专栏

本文详细介绍了Flink中BLOB的用途，包括存储的jar包、RPC消息和日志文件，以及PERMANENT_BLOB和TRANSIENT_BLOB两类存储特性。深入解析了BlobStore、BlobServer、BlobClient和LibraryCacheManager在Flink架构中的角色，并通过standalone模式展示了jar包管理流程，同时提及了相关配置。

摘要由CSDN通过智能技术生成

1.美图

在这里插入图片描述

2.类型

jar包
```
  被user classloader使用的jar包
```

高负荷RPC消息

  1. RPC消息长度超出了akka.framesize的大小
  2. 在HA摸式中，利用底层分布式文件系统分发单个高负荷RPC消息，比如: TaskDeploymentDescriptor,给多个接受对象。
  3. 失败导致重新部署过程中复用RPC消息

TaskManager的日志文件

  为了在web ui上展示taskmanager的日志

3.按存储特性又分为两类

PERMANENT_BLOB

  生命周期和job的生命周期一致，并且是可恢复的。会上传到BlobStore分布式文件系统中。

TRANSIENT_BLOB

  生命周期由用户自行管理，并且是不可恢复的。不会上传到BlobStore分布式文件系统中。

4.架构图

在这里插入图片描述

了解本专栏

九师兄

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
95-862-038-源码-runtime-blob-Flink中支持的BLOB文件类型

1.美图2.类型jar包被user classloader使用的jar包高负荷RPC消息 1. RPC消息长度超出了akka.framesize的大小 2. 在HA摸式中，利用底层分布式文件系统分发单个高负荷RPC消息，比如: TaskDeploymentDescriptor,给多个接受对象。 3. 失败导致重新部署过程中复用RPC消息TaskManager的日志文件为了在web ui上展示taskmanager的日志3.按存储特性又分为两类P
复制链接

扫一扫