Hadoop（三）进程理解

已于 2022-05-30 21:05:46 修改
阅读量119 收藏
点赞数
文章标签： hadoop
于 2022-05-29 22:09:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44819454/article/details/125036489
版权

HDFS相关（NN,DN,SSN）

NN（NameNode）

在这里插入图片描述
功能：
1、接收客户端的读写服务
因为namenode知道数据文件和DataNode的对应关系
2、保存文件的时候会保存文件的元数据信息
a. 文件的归属
b. 文件的权限
c. 文件的大小、时间
d. block信息，但是block的位置信息不会持久化，需要每次开启集群的时候DN向NN汇报

3、收集block的位置信息

3.1 系统启动

​ a. NN关机的时候是不会存储任何的Block与DataNode的映射信息的

​ b. DN启动的时候会自动将自己节点上存储的Block信息汇报给NN

​ c. NN接收请求之后会重新生成映射关系

​ File ----> Block

​ Block—> DN

​ d. 如果数据块的副本数小于设置数，那么NN会将这个副本拷贝到其他节点

​ 3.2 集群运行中

​ a. NN与DN保持心跳机制，三秒钟发送一次

​ b. 如果客户端需要读取或者上传数据的时候，NN可以知道DN的健康情况

​ c. 可以让客户端读取存活的DN节点

​ d. 如果NN与DN三秒没有心跳则认为DN出现异常,此时不会让新的数据写到这个异常的DN中,客户端访问的时候不提供异常DN节点地址

​ e. 如果超过十分钟没有心跳，那么NN会将当前DN

最低0.47元/天 解锁文章
QCZB
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
《大数据： Hadoop（HDFS） NN，DN 工作原理_有2NN模式》
yexiangCSDN的专栏
09-28 329
四、总结 1. NN主要负责元数据的存储 2. 两种存储的文件格式 edits: 在NN启动后，保存新写入的命令 fsimage: 在合并了edits和fsimage文件后，将新的元数据持久化到新的fsimage文件中 合并的时机： 需要满足checkpoint的条件 ①默认1h ②两次checkp...
MAC M1大数据0-1成神篇-19 初识hadoop
Mmmxs
05-27 193
写在前面： 认识一下数据类型和其中的节点。 进入主题： 一.文件的数据类型 文件有一个stat命令 元数据信息-->描述文件的属性 文件有一个vim命令 查看文件的数据信息 分类 元数据 文件数据 真实存在于文件中的数据 二. NameNode(NN) 2.1 功能 接受客户端的读写服务 NameNode存放文件与Block的映射关系 DataNode存放Block与DataNode的映射关系 保存...
NameNode和SecondaryNameNode
数锯君的博客
09-06 214
NameNode和SecondaryNameNode 1. NN和2NN工作机制 NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带...
HDFS(2):NN；DN；2NN
忄凝^的博客
06-29 364
HDFS：NN；DN；2NN； 目录HDFS：NN；DN；2NN；1、NameNode1.1、知识总结1.2、功能1.3、性能2、DateNode3、SecondaryNameNode3.1、传统解决方案3.2、2NN解决方案3.3、2NN备份数据优化3.4、数据恢复4、HDFS数据写入流程4.1、宏观流程4.2、微观流程5、HDFS数据读出流程 1、NameNode 1.1、知识总结 1.2、功能 1、存储数据 保存文件的元数据信息 文件的归属 文件的权限 文件的大小时间 文件与block块
【安装部署】DataEase Mac 电脑本地运行 Kettle 和 Doris 报错：Mounts denied
都是自己踩过的坑的博客
09-28 1415
【安装部署】DataEase Mac 电脑本地运行 Kettle 和 Doris 报错：Mounts denied
Hadoop之HDFS---浅谈DN、NN、SNN
热门推荐
linhao
10-08 1万+
Hadoop浅谈         在了解HDFS之前必须介绍一下hadoop以及hadoop和HDFS之前的关系：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。那么它们之间的关系可以通过下面几点了解： 1、Hadoop是google的集群系统的开源实现：   Google集群系统
Hadoop面试题---NN、DN以及2NN的工作机制
qq_39872456的博客
02-11 1674
一、NN和2NN的工作机制 1.首先，我们做个假设，如果存储在 NameNode 节点的磁盘中，因为经常需要进行随机访问 ，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存 中，一旦断电，元数据丢失，整个集群就无法工作了。**因此产生在磁盘中备份元数据的 FsImage。** 2.这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新 FsImage，就会导致 效率过低，但如果不更新，就会发生一致性问题，一旦 NameNode 节点断电，就会产生数据 丢失。因此，引入
macOS安装DataEase
qq_67327073的博客
02-04 564
小白配置使用环境。在终端中的操作。
Hadoop生态圈之分布式环境搭建
xunming的专栏
08-11 3314
1安装模式 单机模式 伪分布模式 完全分布式模式 2环境搭建 3添加新节点 4初步实战 5数据误删除恢复 回收站恢复 快照恢复 编辑日志恢复 6常见问题 1安装模式 hadoop有三种安装模式： 单机模式 Hadoop的默认模式，当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配
正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?（详细）
走在大数据的小路上
03-29 7694
1）NameNode它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有metadate。 2）SecondaryNameNode它不是namenode的冗余守护进程，而是提供周期检查点和清理任务。帮助NN合并editslog，减少NN启动时间。 3）DataNode它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存储数据的节点运行一个datanode守...
Mac学习使用之路（一）
猪猪的专栏
06-28 4289
这两天新入手了Macbook，从此以后就开始爱不释手地研究起来了。 从此，我的博客上多出一个分类，分享我的Mac的杂谈。 一、为什么入手 由于工作原因，经常去见客户。我有一个老款Windows笔记本，感觉非常不方便： 1、几乎每次到客户那边，都会很抱歉地对客户讲，您稍等一下，电脑还没启动好！ 2、每次背着Windows电脑，加上电源，足足10斤，也是遭罪了。 3、有些工作需要用
大数据处理：大数据处理框架Hadoop、Spark
Chujun123528的博客
07-24 805
大数据处理是当代信息技术领域的一个重要分支，它涉及到海量数据的存储、管理和分析。为了高效地应对大数据处理的挑战，多种框架被开发出来，其中Hadoop和Spark是最为知名和广泛应用的两种。以下将详细介绍这两种框架以及它们在大数据处理中的应用和优势。
【SCI顶级】金豺算法GJO-CNN-LSTM-Multihead-Attention温度预测【含源码 5741期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Mutilhead-Attention回归预测
2023睿抗机器人开发者大赛.zip
07-30
毕业设计是高等教育阶段学生完成学业的一个重要环节，通常在学士或硕士学业即将结束时进行。这是学生将在整个学业中所学知识和技能应用到实际问题上的机会，旨在检验学生是否能够独立思考、解决问题，并展示其专业能力的一项综合性任务。 毕业设计的主要特点包括： 独立性： 毕业设计要求学生具备独立思考和解决问题的能力。学生需要选择一个合适的课题，研究相关文献，进行实地调查或实验，并提出独立见解。 实践性： 毕业设计是将理论知识应用到实际问题中的一次实践。通过完成毕业设计，学生能够将所学的专业知识转化为实际的解决方案，加深对专业领域的理解。 综合性： 毕业设计往往要求学生运用多个学科的知识，综合各种技能。这有助于培养学生的综合素养，提高他们的综合能力。 导师指导： 学生在毕业设计过程中通常由一名指导老师或导师团队提供指导和支持。导师负责引导学生确定研究方向、制定计划、提供建议，并在整个过程中监督进展。 学术规范： 毕业设计要求学生按照学术规范完成研究，包括文献综述、研究设计、数据采集与分析、结论和讨论等环节。学生需要撰写一篇完整的毕业论文，并进行答辩。
【JCR一区级】飞蛾扑火算法MFO-CNN-LSTM-Attention故障诊断分类预测【含源码 5668期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Attention分类系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Attention分类 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Attention分类 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Attention分类 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Attention分类 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Attention分类
SCI一区】蚁狮算法ALO-CNN-BiLSTM-Mutilhead-Attention多变量时序预测含源码 5651.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-BiLSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-BiLSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-BiLSTM-Mutilhead-Attention回归预测
C++头文件1.0（标准化头文件，入门者必背）
最新发布
07-30
C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）C++头文件1.0（标准化头文件，入门者必背）
MSM0G3507 板的测试程序
07-30
<项目介绍> - MSM0G3507 板的测试程序 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
C++《舵机、超声波结合，实现走迷宫功能的Arduino小车程序》+源代码+文档说明
07-30
<项目介绍> - 将舵机、超声波结合，实现走迷宫功能的Arduino小车程序 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值