95-862-045-源码-runtime-blob-BlobService

最新推荐文章于 2024-03-27 18:40:20 发布
最新推荐文章于 2024-03-27 18:40:20 发布
阅读量220 收藏
点赞数
分类专栏： 大数据-flink 文章标签： 数据库
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/120161047
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了Flink的BlobService在文件管理中的作用，详细讲解了BlobServer和BlobCache的职责，以及它们在Flink系统中的拓扑结构。BlobServer用于存储客户端提交的Flink程序jar、jobGraph文件和服务数据，所有TaskManager都会从BlobServer获取这些资源。
摘要由CSDN通过智能技术生成

文章目录

1.视界

在这里插入图片描述

​ BlobService 负责具体的文件管理，其具体实现有两个：BlobServer 和 BlobCache，具体见下图：

2.拓扑图

在这里插入图片描述

3.BlobServer

使用来存储Client端提交的Flink program jar, jobGraph file, JM 的所有services ， 和所有的TM都连接同一个BlobServer （可以是LocalDisk， HDFS, S3 , 或其他的 Blob数据库）读取这些数据。

九师兄
关注
专栏目录
订阅专栏
【Flink】运行Flink 1.6.2 程序偶然报错 Premature end of GET request
九师兄
07-07 1022
1.背景 在开发程序的时候，把flink程序运行在yarn上偶然报错 2020-07-07 17:54:33,253 INFO org.apache.flink.runtime.blob.Blobclient - Downloading null/t-da39a3ee5e6b4b0d3255bfef95601890afd80709-ee0f1f77ba06433fb43ea445eb03aa92 from 1.xx/xx.xx.0.xx:43365 2020-07-07 17:54:33,258 .
flysystem-azure-blob-storage:扩展Leagueflysystem-azure-blob-storage
04-10
标题 "flysystem-azure-blob-storage" 指的是一种扩展，它将League的Flysystem文件系统抽象库与Azure Blob Storage服务相结合。Flysystem是一个PHP库，它提供了一个统一的接口来操作各种不同的文件系统，如本地磁盘...
提交Flink的jar包到Yarn上，web界面log报错
piaoken5588的博客
03-14 2956
在hadoop环境下运行flink的batch程序： ./flink run /home/hadoop/proj/wordcount.jar --input hdfs://mycluster/flinkProjectData/111.txt 一段时间后，flink的web界面上，taskmanager和jobmanager下的logs分别出现error： taskmanager： ER...
FlinkSQL报错：org.apache.flink.util.FlinkException: Could not upload job files.
yuchendejiyi的博客
03-31 6728
1、首先我使用的Flink版本 Flink1.12.0 2、出现错误场景 在进行Flink和Hive（3.1.2）版本进行集成，通过sql-client.sh embedded来执行（select * from emp）语句时出现此错误信息 ---> 报错信息 ---> 分析 org.apache.flink.util.FlinkException: Could not upload job files 这个错误较为笼统，根据这个定位会很模糊，值得注意的是下面的报错： 20
聊聊flink的BlobServer
weixin_33720078的博客
03-03 1298
序 本文主要研究一下flink的BlobServer BlobServer flink-1.7.2/flink-runtime/src/main/java/org/apache/flink/runtime/blob/BlobServer.java public class BlobServer extends Thread impleme...
flink提交任务Server Response Message:Internal server error执行任务Caused by: java.net.ConnectException: 拒绝连接
weixin_46005650的博客
03-27 9549
flink提交任务Server Response Message:Internal server error执行任务Caused by: java.net.ConnectException: 拒绝连接
fetch-blob:Node.js 中的 Blob 实现，最初来自 node-fetch
07-23
获取-blob Node.js 中的 Blob 实现，最初来自 。安装npm install fetch-blob 从 2x 升级到 3x 从 2 更新到 3 应该是轻而易举的，因为 blob 规范没有太多变化。 主要版本的主要原因是编码标准。 - 内部 WeakMaps 被...
gocv-blob:使用GoCV + OpenCV进行Blob跟踪的基础
04-06
gocv-blob 通过GoCV软件包进行Blob跟踪 目录 关于 这个小程序包实现了Blob跟踪的基础：简单的质心和基于的跟踪 还有其他功能可以检查斑点是否与水平线（甚至斜线）交叉。 安装 首先，您需要在操作系统上安装OpenCV...
feathers-blob:羽毛服务，用于Blob存储，例如S3
04-27
blobService = BlobService(options) options.Model是一个的实例化接口 options.id是斑点标识符的字符串“ key”。 returnUri默认值为true ，将其设置为false可将其从输出中删除。 returnBuffer默认为false ，将...
prometheus-azure-blob-exporter:Prometheus指标导出器，用于天蓝色Blob存储
05-11
普罗米修斯-天蓝色斑点出口商Prometheus指标导出器，用于天蓝色Blob存储配置示例exporter_port : 9358 # Port on which Prometheus can call this exporter to get metricslog_level : infoazure_blob_storage_...
Flink 1.13 源码解析——JobManager启动流程概览
EdwardWang_的博客
08-25 2097
Flink 1.13 源码解析之 JobManager启动流程
flink教程：Flink的架构包含哪些？介绍下技术架构和运行架构
学亮编程手记
08-30 187
Flink的架构包含哪些？介绍下技术架构和运行架构Flink 架构分为和两部分。
Flink报错：Could not connect to BlobServer at address localhost/127.0.0.1:39203
xjh000的博客
03-07 3872
Flink报错：Could not connect to BlobServer at address localhost/127.0.0.1:39203。
【Flink架构】关于FLink BLOB的组织架构：FLIP-19: Improved BLOB storage architecture：官网解读
最新发布
hiliang521的博客
03-27 1191
【Flink架构】关于FLink BLOB的组织架构：FLIP-19: Improved BLOB storage architecture：官网解读
Flink: Could not connect to BlobServer at address localhost/127.0.0.1:34036
风一样的少年
03-14 2051
【代码】Flink: Could not connect to BlobServer at address localhost/127.0.0.1:34036。
【Flink】Could not connect to BlobServer at address
九师兄
03-12 8780
FLink读取hive，然后写入hive，我本地单机执行flink 读取hive写hive报这个错，其他同事却不报错（代码一样）。然后报错如下。
运行flink程序所出现的异常及其解决方案
热门推荐
一路走下去的博客
10-29 2万+
下面的我在测试中遇到的几个问题及解决方案。 1. The assigned slot container_e08_1539148828017_15937_01_003564_0 was removed. org.apache.flink.util.FlinkException: The assigned slot container_e08_1539148828017_15937_01_0035...
U-Boot移植与源码解析指南
- **设备树支持**：通过设备树文件（Device Tree Blob，DTB）来描述硬件配置，增强了移植性和可维护性。 ## 开发和贡献 U-Boot是一个开源项目，不断有开发者对其进行改进和扩展。如果你希望参与开发或对项目做出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值