【图文解析 】HDFS中各个角色的功能

最新推荐文章于 2023-03-30 22:14:01 发布
最新推荐文章于 2023-03-30 22:14:01 发布
阅读量6k 收藏 7
点赞数 4
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42246689/article/details/84000014
版权

1.namenode：

  • 接收客户端的读写请求
  • 存储元数据信息
  • 接收datanode的心跳报告
  • 负载均衡
  • 分配数据块的存储节点

2.datanode：

  • 真正处理客户端的读写请求
  • 向namenode发送心跳
  • 向namenode发送块报告
  • 真正的数据存储
  • 副本之间的相互复制

3.secondarynamenode：

  • 备份元数据信息
  • 帮助namenode进行元数据合并  减轻namenode的压力

4.客户端

  • 进行数据块的物理切分
  • 向namenode发送读写请求
  • 向namenode发送读写响应
谦卑t
关注
专栏目录
【软件架构思想系列】分层架构
程序员光剑
01-19 1万+
- 分层架构 -今天谈下架构设计中的分层思想和分层模型。架构思维概述对于架构思维本身仍然是类似系统思维，结构化思维，编程思维等诸多思维模式的一个合集。由于架构的核心作用是在业务现实世界和抽象的IT实现之间建立起一道桥梁，因此架构思维最核心的就是要：理解到业务驱动技术，技术为最终的业务服务。要真正通过架构设计来完成业务和技术，需求和实现，软件和硬件，静态和动态，成本和收益等多方面的平...
HDFS简介
IronWring_Fly的博客
09-17 446
HDFS主要负责文件存储，包含三种角色：1. namenode 2. datanode 3. secondary namenode 1. namenode （1）将所有的文件和文件目录信息保存在一颗文件目录树中。 （2）这些信息也会持久化到磁盘里，保存为images系统镜像文件和edit日志文件。 （3）保存每个文件都分成了哪些数据块，分别存储在哪些节点上。但是这些信息不会持久化，在系统启动...
Hadoop——HDFS角色功能
Stay Hungry Stay Foolish
02-07 635
不论集群有多少台机器，Namenode只有一台，由于要记录所有datanode上的文件元数据、目录结构等信息，且当client并发很高时，Namenode压力其实很大，所以Namenode必须响应很快，所有Namenode完全基于内存存储metadata、目录结构、block映射等信息 但是也正是因为其完全基于内存，所以受内存大小，机器断电丢失数据等客观因素限制，Namenode需要持久化方案保...
7 HDFS工作流程与机制
THE ORDER
02-11 475
1 HDFS集群角色与职责 2 HDFS写数据流程（上传文件） 3 HDFS读数据流程（下载文件） 4 总结 主角色：namenode NameNode是Hadoop分布式文件系统的核心，架构中的主角色。  NameNode维护和管理文件系统元数据，包括名称空间目录树结构、文件和块的位置信息、访问权限等信息。  基于此，NameNode成为了访问HDFS的唯一入口。 NameNode内部通过内存和磁盘文件两种方式管理元数据。  其中磁盘上的元数据文件包括Fsi
HDFS的组成角色以及读写流程
dontlikerabbit的博客
12-07 837
HDFS组成角色及其功能 Client：客户端 NameNode (NN)：元数据节点 管理文件系统的Namespace元数据 处理客户端读写请求 DataNode (DN)：数据节点 数据存储节点，保存和检索Block 执行数据读写操作 Secondary NameNode (SNN)：从元数据节点 合并NameNode的edits到fsimage文件中 辅助NN将内存中元数据信息持久化 HDFS写流程 1.client请求   client通过DFS向NN请求(源文件已存在) 2.NN确认   
HDFS之Node角色
OopsOutOfMemory盛利的博客
08-04 2187
Secondary NameNode：NameNode是一种logappend方式来存储对dfs的修改操作，editlog。 NameNode启动的时候，会去从fsimage中读取HDFS的状态，然后从editlog中恢复恢复对dfs的修改操作。然后在对fsimage写入新的状态，启动一个新的空的edits file.由于NameNode只会在其启动的时候，会合并fsimage和editlog.
hadoop之hdfs的角色以及读写流程
风逍遥-ygq
10-17 1034
hadoop之hdfs的角色以及读写流程 1. hdfs简介 　hdfs集群分为两大角色：namenode、datanode 1.1、 namenode工作职责： 1.1.1、 记录元数据： 　　　　　　文件的路径 　　　　　　文件的副本数量 　　　　　　文件的切块大小 　　　　　　文件的块信息 　　　　　　文件块的位置信息 1.1.2、 响应客户端请求 1.1.3、 平衡datanode上的文件...
HA-Hadoop集群搭建教程(图文+视频)1
08-04
以下是关键知识点的详解： 一、前置准备 在搭建Hadoop高可用集群之前，需要确保已经完成了以下准备工作： 1. 安装并配置了Java环境，这里是JDK 1.8.0_191。 2. 安装并配置了Hadoop完全分布式集群环境，这包括安装...
datahub文档_实现datahub
weixin_39929723的博客
12-21 1061
阿里云物联网平台数据转发到DataHub示例概述您可以使用规则引擎将数据转到DataHub上，再由DataHub将数据流转至实时计算、MaxCompute等服务中，以实现更多计算场景。本文主要演示通过规则引擎将消息流转到DataHub，并通过Dataconnector 将消费流转到MaxCompute的表。Step By Step物联...文章taro_秋刀鱼2020-02-072275浏览量Da...
大数据平台建设关键技术
leveretz的博客
02-22 8489
平台关键技术设计 架构风格 云计算 Google在2006年率先提出“云计算”的概念。所谓“云计算”，是一种大规模的分布式模型，通过网络将抽象的､可伸缩的､便于管理的数据能源､服务､存储方式等传递给终端用户。狭义云计算是指IT基础设施的交付和使用模式，指通过网络以按照需求量的方式和易扩展的方式获得所需资源。广义云计算指服务交付和使用模式，指通过网络以按照需求量和易扩展方式获得所需服务。 目前，云计算可以认为包含3个层次的内容：基础设施即服务（IaaS）､平台即服务（PaaS）和软件即服务（Sa.
【企业架构设计实战】业务架构设计
热门推荐
程序员光剑
02-10 1万+
业务架构概述业务架构（Business Architecture）来自业务，我们先来看看什么是“业务”。在百度百科中，业务被定义为“各行业中需要处理的事务，但通常偏向指与销售有关的事务，企业最终主要以销售产品、销售服务、销售技术等为主要盈利模式。”在TOGAF中，业务被定义为“任何与产品和服务的售卖相关的组织行为”。可以看出，业务最终的目的是“售出产品，换取利润”，业务是为企业产生盈利的工作和经营...
Hadoop学习（9）-分布式集群中HDFS系统的各种角色
上海一九四三
01-19 389
原文来自：扎心了，老铁的《Hadoop学习之路（十二）分布式集群中HDFS系统的各种角色》
HDFS角色职责超详细概述Namenode、Datanode、元数据管理+fsimage 内存镜像文件+ Edits log编辑日志、元数据加载顺序
qq_40585384的博客
12-11 5562
NameNode是HDFS的核心，集群的主角色，被称为Master。 NameNode仅存储管理HDFS的元数据：文件系统namespace操作维护目录树，文件和块的位置信息。NameNode不存储实际数据或数据集。数据本身实际存储在DataNodes中。 NameNode知道HDFS中任何给定文件的块列表及其位置。使用此信息NameNode知道如何从块中构建文件。NameNode并不持久化存储每个文件中各个块所在的DataNode的位置信息，这些信息会在系统启动时从DataNode汇报中重建。
Hadoop模块：各个角色的作用
lv_hulk的博客
10-23 3063
##Hadoop按照功能分的三大模块介绍 HDFS：hadoop的分布式文件系统 运行架构： 主从架构 主：namenode 一个 单点故障 管理的作用 助理： secondarynamenode:帮助namenode备份数据 但是接替不了namenode的工作 从：datanode 多个 存储数据的 干活的 MAPREDUCE：分布式计算的代码 应用程序 什么时候执行 ...
Hadoop-HDFS角色工作机制
weixin_44894162的博客
07-30 1219
1、HDFS,分布式文件系统)HDFS是Hadoop应用程序使用分布式存储，HDFS集群主要由管理文件系统元数据的NameNode和存储实际数据的DataNode组成。2、两个核心概念：三副本存储和Pipeline管道；3、上传流程详解；...
Hadoop各角色作用
qq_44962809的博客
04-30 1630
** Hadoop按照功能分的三大模块介绍 ** HDFS：hadoop的分布式文件系统 运行架构： ** 主从架构 ** 主：namenode 一个 单点故障 管理的作用 助理： secondarynamenode:帮助namenode备份数据 但是接替不了namenode的工作 从：datanode 多个 存储数据的 干活的 MAPREDUCE：分布式计算的代码 应用程序 什么时候执行 什么...
HDFS基本介绍
biao的博客
03-31 1522
HDFS基本介绍初次接触HADOOP HDFS，从它得定位与优缺点角度开始，是一个好方法。本文为个人翻译的官方文档，水平极其有限。总体介绍HDFS是Hadoop的分布式文件系统，该组件被设计为高度容错且部署在低成本硬件上，提供给了应用程序数据一个高吞吐量的连接。HDFS放宽一些POSIX的要求，以使流访问到文件系统的数据。HDFS最初建基础设施的阿帕奇Nutch的网络搜索引擎项目。目标与期望1.硬件
HDFS的组成及其功能
m0_61232019的博客
09-14 5205
client（客户端）：文件切分、与NameNode交互、获取文件的位置信息；与DataNode交互，读取或写入文件；（Master）：管理整个文件的元数据（命名空间信息，块信息）；（辅助工作者）：辅助NameNode；执行fsimage和edits的定期合作，并推送给NameNode。（Slave）：存储文件；执行数据块的读写操作。
Hadoop 三大组件之HDFS
最新发布
不忘初欣丶的博客
03-30 1966
hadoop三大组件之HDFS分布式文件存储
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值