HDFS深入分析

最新推荐文章于 2024-08-12 13:35:06 发布
最新推荐文章于 2024-08-12 13:35:06 发布
阅读量1.6k 收藏 1
点赞数
文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41083358/article/details/121807128
版权

HDFS深入分析

1.NameNode分析
namenode节点主要包含fsimage、edits、seen_txid、VERSION文件；

1.1 fsimage主要存储文件最新的快照数据（元信息以及文件存储的目录树），如下为查看fsimage内容的命令以及对应的内容样例：

bash /home/hadoop3.3.1/hadoop-3.3.1/bin/hdfs oiv -p XML -i fsimage_0000000000000000016 -o /home/fsimage16.xml

<inode><id>16389</id><type>FILE</type><name>hadoop-3.3.1.tar.gz</name><replication>2</replication><mtime>1639018837819</mtime><atime>1639018793827</atime><preferredBlockSize>134217728</preferredBlockSize><permission>root:supergroup:0644</permission><blocks>
<block><id>1073741827</id><genstamp>1003</genstamp><numBytes>134217728</numBytes></block>
<block><id>1073741828</id><genstamp>1004</genstamp><numBytes>134217728</numBytes></block>
<block><id>1073741829</id><genstamp>1005</genstamp><numBytes>134217728</numBytes></block>
<block><id>1073741830</id><genstamp>1006</genstamp><numBytes>134217728</numBytes></block>
<block><id>1073741831</id><genstamp>1007</genstamp><numBytes>68316367</numBytes></block>
</blocks>
<storagePolicyId>0</storagePolicyId></inode>

1.2 edits文件主要存储的是文件操作的详细步骤（实时过程数据）（edits的文件会定期的同步到fsimage中–通过secondaryNameNode来同步，这也是secondaryNameNode的唯一作用），如下为查看edits内容的命令以及对应的内容样例：

bash /home/hadoop3.3.1/hadoop-3.3.1/bin/hdfs oev -i edits_inprogress_0000000000000000044 -o /home/edits.xml

<RECORD>
    <OPCODE>OP_ADD</OPCODE>
    <DATA>
      <TXID>24</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>16389</INODEID>
      <PATH>/hadoop-3.3.1.tar.gz._COPYING_</PATH>
      <REPLICATION>2</REPLICATION>
      <MTIME>1639018793827</MTIME>
      <ATIME>1639018793827</ATIME>
      <BLOCKSIZE>134217728</BLOCKSIZE>
      <CLIENT_NAME>DFSClient_NONMAPREDUCE_-816749945_1</CLIENT_NAME>
      <CLIENT_MACHINE>192.168.136.103</CLIENT_MACHINE>
      <OVERWRITE>true</OVERWRITE>
      <PERMISSION_STATUS>
        <USERNAME>root</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>420</MODE>
      </PERMISSION_STATUS>
      <ERASURE_CODING_POLICY_ID>0</ERASURE_CODING_POLICY_ID>
      <RPC_CLIENTID>eac04cbe-68b6-41d2-aabc-f41b781cff4b</RPC_CLIENTID>
      <RPC_CALLID>3</RPC_CALLID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
    <DATA>
      <TXID>25</TXID>
      <BLOCK_ID>1073741827</BLOCK_ID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
    <DATA>
      <TXID>26</TXID>
      <GENSTAMPV2>1003</GENSTAMPV2>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ADD_BLOCK</OPCODE>
    <DATA>
      <TXID>27</TXID>
      <PATH>/hadoop-3.3.1.tar.gz._COPYING_</PATH>
      <BLOCK>
        <BLOCK_ID>1073741827</BLOCK_ID>
        <NUM_BYTES>0</NUM_BYTES>
        <GENSTAMP>1003</GENSTAMP>
      </BLOCK>
      <RPC_CLIENTID/>
      <RPC_CALLID>-2</RPC_CALLID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
    <DATA>
      <TXID>28</TXID>
      <BLOCK_ID>1073741828</BLOCK_ID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
    <DATA>
      <TXID>29</TXID>
      <GENSTAMPV2>1004</GENSTAMPV2>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ADD_BLOCK</OPCODE>
    <DATA>
      <TXID>30</TXID>
      <PATH>/hadoop-3.3.1.tar.gz._COPYING_</PATH>
      <BLOCK>
        <BLOCK_ID>1073741827</BLOCK_ID>
        <NUM_BYTES>134217728</NUM_BYTES>
        <GENSTAMP>1003</GENSTAMP>
      </BLOCK>
      <BLOCK>
        <BLOCK_ID>1073741828</BLOCK_ID>
        <NUM_BYTES>0</NUM_BYTES>
        <GENSTAMP>1004</GENSTAMP>
      </BLOCK>
      <RPC_CLIENTID/>
      <RPC_CALLID>-2</RPC_CALLID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
    <DATA>
      <TXID>31</TXID>
      <BLOCK_ID>1073741829</BLOCK_ID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
    <DATA>
      <TXID>32</TXID>
      <GENSTAMPV2>1005</GENSTAMPV2>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ADD_BLOCK</OPCODE>
    <DATA>
      <TXID>33</TXID>
      <PATH>/hadoop-3.3.1.tar.gz._COPYING_</PATH>
      <BLOCK>
        <BLOCK_ID>1073741828</BLOCK_ID>
        <NUM_BYTES>134217728</NUM_BYTES>
        <GENSTAMP>1004</GENSTAMP>
      </BLOCK>
      <BLOCK>
        <BLOCK_ID>1073741829</BLOCK_ID>
        <NUM_BYTES>0</NUM_BYTES>
        <GENSTAMP>1005</GENSTAMP>
      </BLOCK>
      <RPC_CLIENTID/>
      <RPC_CALLID>-2</RPC_CALLID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
    <DATA>
      <TXID>34</TXID>
      <BLOCK_ID>1073741830</BLOCK_ID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
    <DATA>
      <TXID>35</TXID>
      <GENSTAMPV2>1006</GENSTAMPV2>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ADD_BLOCK</OPCODE>
    <DATA>
      <TXID>36</TXID>
      <PATH>/hadoop-3.3.1.tar.gz._COPYING_</PATH>
      <BLOCK>
        <BLOCK_ID>1073741829</BLOCK_ID>
        <NUM_BYTES>134217728</NUM_BYTES>
        <GENSTAMP>1005</GENSTAMP>
      </BLOCK>
      <BLOCK>
        <BLOCK_ID>1073741830</BLOCK_ID>
        <NUM_BYTES>0</NUM_BYTES>
        <GENSTAMP>1006</GENSTAMP>
      </BLOCK>
      <RPC_CLIENTID/>
      <RPC_CALLID>-2</RPC_CALLID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
    <DATA>
      <TXID>37</TXID>
      <BLOCK_ID>1073741831</BLOCK_ID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
    <DATA>
      <TXID>38</TXID>
      <GENSTAMPV2>1007</GENSTAMPV2>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ADD_BLOCK</OPCODE>
    <DATA>
      <TXID>39</TXID>
      <PATH>/hadoop-3.3.1.tar.gz._COPYING_</PATH>
      <BLOCK>
        <BLOCK_ID>1073741830</BLOCK_ID>
        <NUM_BYTES>134217728</NUM_BYTES>
        <GENSTAMP>1006</GENSTAMP>
      </BLOCK>
      <BLOCK>
        <BLOCK_ID>1073741831</BLOCK_ID>
        <NUM_BYTES>0</NUM_BYTES>
        <GENSTAMP>1007</GENSTAMP>
      </BLOCK>
      <RPC_CLIENTID/>
      <RPC_CALLID>-2</RPC_CALLID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_CLOSE</OPCODE>
    <DATA>
      <TXID>40</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>0</INODEID>
      <PATH>/hadoop-3.3.1.tar.gz._COPYING_</PATH>
      <REPLICATION>2</REPLICATION>
      <MTIME>1639018837819</MTIME>
      <ATIME>1639018793827</ATIME>
      <BLOCKSIZE>134217728</BLOCKSIZE>
      <CLIENT_NAME/>
      <CLIENT_MACHINE/>
      <OVERWRITE>false</OVERWRITE>
      <BLOCK>
        <BLOCK_ID>1073741827</BLOCK_ID>
        <NUM_BYTES>134217728</NUM_BYTES>
        <GENSTAMP>1003</GENSTAMP>
      </BLOCK>
      <BLOCK>
        <BLOCK_ID>1073741828</BLOCK_ID>
        <NUM_BYTES>134217728</NUM_BYTES>
        <GENSTAMP>1004</GENSTAMP>
      </BLOCK>
      <BLOCK>
        <BLOCK_ID>1073741829</BLOCK_ID>
        <NUM_BYTES>134217728</NUM_BYTES>
        <GENSTAMP>1005</GENSTAMP>
      </BLOCK>
      <BLOCK>
        <BLOCK_ID>1073741830</BLOCK_ID>
        <NUM_BYTES>134217728</NUM_BYTES>
        <GENSTAMP>1006</GENSTAMP>
      </BLOCK>
      <BLOCK>
        <BLOCK_ID>1073741831</BLOCK_ID>
        <NUM_BYTES>68316367</NUM_BYTES>
        <GENSTAMP>1007</GENSTAMP>
      </BLOCK>
      <PERMISSION_STATUS>
        <USERNAME>root</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>420</MODE>
      </PERMISSION_STATUS>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_RENAME_OLD</OPCODE>
    <DATA>
      <TXID>41</TXID>
      <LENGTH>0</LENGTH>
      <SRC>/hadoop-3.3.1.tar.gz._COPYING_</SRC>
      <DST>/hadoop-3.3.1.tar.gz</DST>
      <TIMESTAMP>1639018837823</TIMESTAMP>
      <RPC_CLIENTID>eac04cbe-68b6-41d2-aabc-f41b781cff4b</RPC_CLIENTID>
      <RPC_CALLID>13</RPC_CALLID>
    </DATA>
  </RECORD>

1.3 seen_txid
存放当前最新的事务id，以此保证数据的完整性；

1.4 VERSION
存放当前namenode的版本信息

namespaceID=1091064552
clusterID=CID-1a520042-fc3d-428d-adf5-66b77af173f0
cTime=1638946985019
storageType=NAME_NODE
blockpoolID=BP-223224798-192.168.136.103-1638946985019
layoutVersion=-66

2.SecondaryNameNode分析
主要负责定期把edits文件中的内容合并到fsimage中（checkpoint）；
如果namenode为HA模式，则没有SecondaryNameNode进程，具体的合并工作由standby namenode负责，也就是SecondaryNameNode不是必须的进程；

3.NameNode总结
总体来说，NameNode保存了两部分数据：
1.file与block的关系，对应的关系信息存储在fsimage和edits文件中,当NameNode启动的时候会把文件中的元数据信息加载到内存中；

2.datanode与block的关系，对应的关系主要在集群启动的时候保存在内存中,当DataNode启动时会把当前节点上的Block信息和节点信息上报给NameNode；

block块存放在哪些datanode上，只有datanode自己知道，当集群启动的时候，datanode会扫描自己节点上面的所有block块信息，然后把节点和这个节点上的所有block块信息告诉给namenode。这个关系是每次重启集群都会动态加载的【这个其实就是集群为什么数据越多，启动越慢的原因】；

附：
1.注意了，刚才我们说了NameNode启动的时候会把文件中的元数据信息加载到内存中，然后每一个文件的元数据信息会占用150字节的内存空间，这个是恒定的，和文件大小没有关系，咱们前面在介绍HDFS的时候说过，HDFS不适合存储小文件，其实主要原因就在这里，不管是大文件还是小文件，一个文件的元数据信息在NameNode中都会占用150字节，NameNode节点的内存是有限的，所以它的存储能力也是有限的，如果我们存储了一堆都是几KB的小文件，最后发现NameNode的内存占满了，确实存储了很多文件，但是文件的总体大小却很小，这样就失去了HDFS存在的价值；

2.client读数据流程
在这里插入图片描述
3.client写数据流程
在这里插入图片描述

weixin_41083358
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFS源码分析（1）--RPC解析
wubin1101的博客
03-30 648
首先需要声明的是，我是基于Hadoop 3.0的源码？什么是RPC    RPC：远程过程调用，怎么理解这个概念呢，就是说比如有两台服务器A、B，A服务器上的程序想要调用B服务器上的某个方法就像在本地调用一样，能够的到结果或者失败之后的异常。那么这个过程中涉及到几个部分呢。这里先举一个简单的例子来说明一下。    RPC可以简单的抽象成一个打电话的例子（虽然有所不同，但是初期这样可以有助于理解）。...
HDFS 原理分析
qq_64412267的博客
04-09 119
客户端拿到数据存放节点位置信息后，会和对应的DataNode节点进行直接交互，进行数据写入，由于数据块具有副本replication，在数据写入时采用的方式是先写第一个副本，写完后再从第一个副本的节点将数据拷贝到其它节点，依次类推，直到所有副本都写完了，才算数据成功写入到HDFS上，副本写入采用的是串行，每个副本写的过程中都会逐级向上反馈写进度，以保证实时知道副本的写入情况；、NameNode会将子节点的相关元数据信息缓存在内存中，对于文件与Block块的信息会通过。
Hadoop理解与分析一
weixin_30698297的博客
04-16 84
转载：http://my.oschina.net/shiw019/blog/92771 HDFS是Hadoop Distribute File System 的简称，也就是Hadoop的一个分布式文件系统。 一、HDFS的主要设计理念 1、存储超大文件 这里的“超大文件”是指几百MB、GB甚至TB级别的文件。 2、最高效的访问模式是 一次写入、多次读取(流式数据访问) ...
HDFS原理分析（一）
北京小辉
03-14 1208
DFS是Hadoop Distribute File System 的简称，也就是Hadoop的一个分布式文件系统。一、HDFS的主要设计理念1、存储超大文件这里的“超大文件”是指几百MB、GB甚至TB级别的文件。 2、最高效的访问模式是 一次写入、多次读取(流式数据访问)HDFS存储的数据集作为hadoop的分析对象。在数据集生成后，长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分
HDFS分析(四)
weixin_30897079的博客
04-10 61
在HDFS中可能同时有多个客户端在同一时刻写文件，如果不进行控制的话，有可能多个客户端会并发的写一个文件，所以需要进行控制，一般的想法是用一个互斥锁，在某一时刻只有一个客户端进行写操作，但是在分布式系统中有如下问题： 1.每次写文件前，客户端需要向master获取锁情况，他们之间的网络通讯太频繁。 2.当某个客户端获取锁之后和master失去联系，这个锁一直被该客...
HDFS解析
爱编程
07-16 376
体系结构 HDFS支持主从结构，主节点称为NameNode，是因为主节点上运行的有NameNode进程，NameNode支持多个，目前我们的集群中只配置了一个 从节点称为DataNode，是因为从节点上面运行的有DataNode进程，DataNode支持多个，目前我们的集群中有两个 HDFS中还包含一个SecondaryNameNode进程，这个进程从字面意思上看像是第二个NameNode的意思，其实不是，一会我们会详细分析。 在这大家可以这样理解： 公司BOSS：NameNode 秘书：Sec
HDFS原理分析
qq_64412267的博客
05-30 82
2、客户端拿到数据存放节点位置信息后，会和对应的DataNode节点进行直接交互，进行数据写入，由于数据块具有副本replication，在数据写入时采用的方式是先写第一个副本，写完后再从第一个副本的节点将数据拷贝到其它节点，依次类推，直到所有副本都写完了，才算数据成功写入到HDFS上，副本写入采用的是串行，每个副本写的过程中都会逐级向上反馈写进度，以保证实时知道副本的写入情况；2、NameNode会将子节点的相关元数据信息缓存在内存中，对于文件与Block块的信息会通过。
深入分析HDFS原理及读写流程
静待花开
03-12 8351
本文目录一、架构体系1.1、什么是HDFS？1.2、组成HDFS的各模块作用1.2.1、Client1.2.2、NameNode1.2.3、DataNode1.2.4、SecondaryNameNode二、数据读写2.1、读数据2.2、写数据三、优缺点 一、架构体系 1.1、什么是HDFS？ HDFS即Hadoop Distributed File System的简称，采用Master/Slave...
分布式文件系统HDFS的分析.pdf
08-10
本文将从HDFS的架构与设计目标、总体架构、数据管理、以及元数据与数据完整性等方面进行深入分析。 首先，HDFS作为一种分布式文件系统，其设计目标是为了解决大数据存储的挑战。设计目标包括： 1. 高容错性：HDFS...
hadoop-2.5.2:1.HDFS源码分析，代码注释参考自《 Hadoop2.x HDFS源码剖析》
03-23
深入理解HDFS的源码有助于开发者更好地定制和优化HDFS，以适应特定的业务场景。通过分析源码，我们可以了解到HDFS如何处理数据分布、故障恢复、负载均衡等问题，以及如何实现高效的文件操作。对于想要从事大数据处理...
深入理解Hadoop HDFS高级教程.txt打包整理.zip
03-05
本高级教程将深入剖析HDFS的内部机制，帮助读者掌握其核心概念和实际操作技巧。 1. Hadoop概述：Hadoop是一个开源框架，主要用于处理和存储大量数据。它支持在分布式集群上运行应用程序，具有高可靠性、高扩展性和...
[Hadoop培训笔记]04-HDFS详细分析（一）
Progressive Notes
12-25 4674
注：开源力量Hadoop Development网络培训个人笔记，培训链接：http://new.osforce.cn/course/52Q&A：1）搭建HDFS集群的时候，NameNode和DataNode这两个进程会挂掉？      查看Log，查看相关的异常信息。      a、如果namenode没有正常启动，原因是在启动之前没有格式化。我们需要format      b、如果datano
HDFS详解
热门推荐
woaini886353的博客
05-10 1万+
******HDFS基本概念篇****** 1. HDFS前言 设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； 在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 重点概念：文件切块，副本存放，元数据 2. HDFS的概念和特性 首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件 其次，它是分布式的，由很多服务器联合起来实现其
怎么设置某个用户生成hdfs文件的权限_HDFS四大机制和三大核心
weixin_39922476的博客
11-23 155
hdfs提供的是高容错性的分布式的数据存储方案。hadoop集群启动的时候，各个进程启动的顺序：namenodedatanodesecondarynamenode一、4大机制(1)心跳机制：集群节点之间必须做时间同步。namenode是集群的老大，负责集群上任务的分工，如果要进行分工，则必须知道各个从节点的存活状况。namenode怎么知道？通过datanode定期的向namenode发送心跳报告...
HDFS元数据管理机制
weixin_59295776的博客
09-12 482
元数据管理概述 HDFS元数据，主要包括以下几个部分： 1、文件、目录自身的属性信息，如文件名，目录名，修改信息等。 2、文件记录的信息的存储相关的信息，如存储块信息，分块情况，副本个数等。 3、记录HDFS的Datanode的信息，用于DataNode的管理。 按形式分为内存元数据和元数据文件两种，分别存在内存和磁盘上。 HDFS磁盘上元数据文件分为两类，用于持久化存储： fsimage 镜像文件：包含Hadoop文件系统中的所有目录和文件元数据信息，但不包含文件块位置的信息。文件块位
HDFS原理解析
huahuaxiaoshao的博客
03-28 545
      lHDFS提供分布式存储机制，提供可线性增长的海量存储能力。自动的数据冗余，无须使用Raid（磁盘阵列），无须另行备份。为进一步分析计算提供数据基础。 1 HDFS设计基础与目标       （1）超大文件。HDFS能够处理百万规模以上的文件数量（ GB、TB、PB级...
深刻理解HDFS工作机制
weixin_33834075的博客
01-11 220
　　深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法，也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请参考这篇博客。本篇博文首先对HDFS的重要特性和使用场景做一个简要说明，之后对HDFS的数据读写、元数据管理以及NameNode、SecondaryName...
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
最新发布
志在创建优质博客、通俗易懂、助力大家提高学习效率！
08-12 1473
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的连接类型和条件来合并数据。希望这篇博客能够帮助你更好地理解PySpark中的连接操作，并将其应用于实际的数据处理任务中。
深入解析Hadoop HDFS源代码
本文将从Hadoop的基础知识开始，逐步深入到HDFS的源代码分析，帮助读者理解其工作原理。 一、Hadoop系统基础 1.1、Hadoop简介 Hadoop是一个开源框架，源自Apache Nutch项目，旨在处理和存储海量数据。其灵感来源于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值