HDFS中的checkpoint(检查点)

最新推荐文章于 2024-08-28 21:05:49 发布
最新推荐文章于 2024-08-28 21:05:49 发布
阅读量1.9k 收藏 1
点赞数 1
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47681855/article/details/108875086
版权
HDFS的checkpoint机制旨在解决频繁操作导致的元数据更新与持久化存储的资源消耗问题。Secondary NameNode通过下载FsImage和日志文件，生成与NameNode同步的内存对象，再持久化并上传至NameNode，确保数据正确性的同时减轻资源负担。
摘要由CSDN通过智能技术生成

checkpoint机制

当客户端向NN发送请求以后 在NN当中的内存区的FsImage对象(元数据–内存对象) 会及时更新元数据信息(updataNode)

但问题是元数据为了安全起见会进行持久化的存储,将内存中的文件序列化到磁盘当中,如果用户每次就行访问都进行持久化的话,又太消耗系统资源,基于这一问题就产生了checkpoint机制

问题之所在:

​ 当客户端对HDFS上的数据进行频繁操作以后, 数据的元数据会发生变化 , NameNode可以FSImage.saveImage()修改内存对象数据 , (内存中的数据存储量有限)

​ 为了保证宕机后数据的正确性,我们会定期的将存储元数据FsImage对象序列化到磁盘上 , 但是会占用系统资源

当用户操作数据的时候 , 还会将用户的操作记录在edit日志中 ,随着时间的推移,日志数据也会越来越大 , 当宕机重启的时候会花费大量时间加载日志数据,启动时间过长 ,导致用户无法操作

​ 这个时候引入secondrayname 用来对存储数据的元数据进行处理 (checkpoint机制) :

下载namenode 的 Fsimage000000文件(初始化文件 ,只下载一次),

下载生成好的日志文件 ,没有_inprocess(正在运行中)的日志文件

加载镜像文件生也成FsImage内存对象和NN当中的内存对象是一样的

加载日志文件 , 修改(FsImage)镜像对象----(等同于客户端对NN进行了数据操作使它达到等新的目的)

持久化镜像对象 ,

将镜像对象上传到namenode中

清理nameNode 上没用的日志数据和持久化的镜像文件

定期下载日志文件 , 合并镜像对象 , 上传到namenode上

在这里插入图片描述

隔壁程序员老王
关注
专栏目录
fetchEventSource请求，数据没有流式输出
幽灵古堡的博客
03-29 1517
vue项目实现流式输出
nodejs + vue3 模拟 fetchEventSouce进行sse流式请求
IT博客技术分享
07-04 1333
在GPT爆发的时候，各项目都想给自己的产品加上AI，蹭上AI的风口，因此在最近的一个需求，就想要给项目加入Ai的功能，原本要求的效果是，查询到对应的数据后，完全展示出来，也就是常规的post请求，后来这种效果遇到了一个很现实的问题：长时间的等待。我们需要在GPT返回全部数据后，前端才能接受并展示，一旦询问的时间过长，就会让用户等待很久，这时候我们需要将前端的展示效果改为想ChatGPT那样的打字机效果。
Fetch Event Source 使用教程
gitblog_00825的博客
08-08 1050
Fetch Event Source 使用教程 fetch-event-sourceA better API for making Event Source requests, with all the features of fetch()项目地址:https://gitcode.com/gh_mirrors/fe/fetch-event-source 项目介绍 Fetch Event Sou...
Fetch Event Source：新一代的服务器推送事件库
gitblog_00075的博客
05-16 1535
Fetch Event Source：新一代的服务器推送事件库 fetch-event-sourceA better API for making Event Source requests, with all the features of fetch()项目地址:https://gitcode.com/gh_mirrors/fe/fetch-event-source 项目介绍 Fetch E...
chatgpt 逐字输出 使用fetch/eventSource/fetchEventSouce进行sse流式处理
热门推荐
weixin_50572740的博客
05-05 1万+
vue chatgpt 逐字输出 使用fetch/eventSource/fetchEventSouce进行sse流式处理
使用 fetchEventSource 实现sse流式请求
simpleMan8023的博客
07-08 1609
/ onclose函数是会话结束正常关闭触发，但几乎没有做到这步，不执行这个回调，不知道什么原因。//我这里是判断我请求回来的数据里是否包含'[DONE]'，他是数组里的最后一项，表示加载完成。// console.log('接口返回', JSON.parse(event.data))// console.log('SSE会在通过事件源收到数据时触发')// 开始会话链接，也做了个全局的......// 终止or结束会话，做了个全局的...// 关闭业务，执行关闭sse数据接口。'SSE结束会话了'
FetchEventSource在大模型流式输出的应用
weixin_62428445的博客
05-17 1324
是微软在 ASP.NET Core 中引入的一个功能，它允许开发者以一种更简单和高效的方式处理 HTTP 请求和响应。通常用于处理服务器发送的事件（Server-Sent Events，SSE），这是一种允许服务器向客户端异步推送实时数据的技术。事件处理器的作用是：当通过 SSE 接收到消息时，它将解析消息内容，从中提取有用的信息，并将其追加到 Vue 组件的。是 Vue 组件实例的一个数据属性，用于累积从服务器接收到的所有消息内容。就可以显示所有接收到的消息内容，保持其原始的格式。
fetchEventSource
weixin_45713857的博客
06-18 1460
onerror连接发送错误时的回调函数，如果没有指定这个回调或返回。onopen 连接建立时的回调函数，如果没有设置会调用默认的。，当页面不可见时关闭连接，当页面重新可见时重新打开连接。每次收到消息时的回调函数，参数是消息对象，它的类型就是。格式发送事件，此连接会一直保持开启直到通过调用。实例会对服务器开启一个持久化的连接，以。，这个默认回调里进行了返回值类型判断。onclose 连接关闭时的回调函数。的第2个参数的类型。请求一样发起服务器单向通信请求。就会发起重新连接请求。
H5项目使用@microsoft/fetch-event-source
一只想躺平却不敢躺平的小菜鸟
01-29 1664
H5项目使用@microsoft/fetch-event-source
vue2使用fetch-event-source接收并显示示例
08-21
在Vue2中使用`fetch`配合`EventSource`（Server-Sent Events）接收和显示流式文本是一个常见的实践，特别是在需要实现实时更新的情况下。下面是一个简单的示例： 首先，在组件里安装`axios`（用于`fetch`）和`vue-...
工程对接大模型流式和非流式对话底层原理解析
互联网大厂后端码农，个人IP：无一郎的技术圈，欢迎加入我的知识星球，解锁更多内容
01-28 4302
本文描述了工程对接大模型流式和非流式对话底层原理解析，自己项目的设计思路，以及手动实践经历。
LLM 应用开发入门 - 实现 langchain.js ChatModel 接入火山引擎大模型和实现一个 CLI 聊天机器人（上）
最新发布
flytam的博客
08-28 1053
Langchain 是一个大语言模型（LLM）应用开发的框架，提供了 LLM 开发中各个阶段很多非常强大的辅助工具支持。对于进行 LLM 开发是必不可少的工具库。 本文将通过一个实际的开发例子来入门 LLM 开发基础工具链，并实现 langchain.js ChatModel 接入火山引擎大模型和基于 langchain 工具链实现一个简单的 CLI 聊天机器人
@microsoft/fetch-event-source EventSource 使用说明
m0_56416159的博客
07-05 1076
【代码】@microsoft/fetch-event-source EventSource 使用说明。
fetch-event-source踩坑sse（getReader）
a598829181的博客
01-29 1989
去百度一下，原来还有fetch-event-source实现了post方式的EventSource（我管你原理怎么实现的，tm能用就行），然后引入，测试，发布！还有一个灵异的地方：本来我一直想不懂，为什么这个app的浏览器里一个请求会有两个请求出现（不是options预检），这时我才明白，因为这个fetch是假的，这个app壳子自己又用xhr来了一遍，所以请求了两次。灵异事件一：我只问了一个问题，然后卡住了，过了一会儿一刷新页面，列表里很多一样的问题【发起了多次请求】
fetch-event-source 的安装 和 使用
qq_45288220的博客
03-15 1835
需要使用到 sse 和需要 post传值。
sse实现post传值，使用（fetch-event-source）插件，使用vue3写法
qq_58946831的博客
04-24 1870
sse实现post传值，使用（fetch-event-source）插件，使用vue3写法。
fetch+eventsource-parser插件实现sse流氏接口处理
weixin_48195612的博客
03-28 476
我的需求是做GPT问答，处理后端sse接口，前端不需要再请求头更换Content-Type。这里realData可以拿到sse接口返回的流氏数据，一般是以data：开头。以上是我再api文件写的。
vue单项数据传输流式回复功能，post传值可关闭请求（@microsoft/fetch-event-source）
qq_34955596的博客
08-11 6034
vue实现单项传输流式答复功能
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值