000006 - HDFS NN和2NN工作机制

已于 2024-07-18 21:13:04 修改
阅读量518 收藏 20
点赞数 6
分类专栏： 大数据系统学习笔记 文章标签： hdfs hadoop 大数据
于 2024-07-15 23:21:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jintaohahahaha/article/details/140449900
版权

HDFS NN和2NN工作机制

1 NameNode和2NameNode工作流程图

在这里插入图片描述
1）第一阶段：NameNode 启动
（1）第一次启动 NameNode 格式化后，创建 Fsimage 和 Edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）NameNode 记录操作日志，更新滚动日志。
（4）NameNode 在内存中对元数据进行增删改。
2）第二阶段：Secondary NameNode 工作
（1）Secondary NameNode 询问 NameNode 是否需要 CheckPoint。直接带回 NameNode是否检查结果。
（2）Secondary NameNode 请求执行 CheckPoint。
（3）NameNode 滚动正在写的 Edits 日志。
（4）将滚动前的编辑日志和镜像文件拷贝到 Secondary NameNode。
（5）Secondary NameNode 加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件 fsimage.chkpoint。
（7）拷贝 fsimage.chkpoint 到 NameNode。
（8）NameNode 将 fsimage.chkpoint 重新命名成 fsimage。

2 Fsimage 和 Edits 解析

NameNode被格式化之后，将在/opt/module/hadoop-3.1.3/data/dfs/name/current目录中产生如下文件
（1）Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息。

fsimage_0000000000000000000
fsimage_0000000000000000000.md5
seen_txid
VERSION

（2）Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到Edits文件中。
（3）seen_txid文件保存的是一个数字，就是最后一个edits_的数字
（4）每次NameNode启动的时候都会将Fsimage文件读入内存，加 载Edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就将Fsimage和Edits文件进行了合并。

我们使用oiv和oev可以分别查看Fsimage和Edits文件，帮助我么进一步理解。经过000004 - HDFS, 我们已经启动了hadoop集群，并且对HDFS进行了一些操作，因此接下来我们可以直接开始进行oev和oiv的操作实践。

1）oev 查看 Edits 文件
（1）基本语法

hdfs oev -p 文件类型 -i 编辑日志 -o 转换后文件输出路径

（2）执行命令

[jintao.zhang@Jintaos-MacBook-Pro]$ ssh -i "hadoop-instances-stack-key-pair.pem" ec2-user@13.211.147.164
[ec2-user@ip-192-168-0-101 ~]$ cd software_installation/hadoop-3.1.3/data/dfs/name/current/
[ec2-user@ip-192-168-0-101 current]$ ll
total 1040
-rw-rw-r--. 1 ec2-user ec2-user     217 Jul 16 14:27 VERSION
-rw-rw-r--. 1 ec2-user ec2-user 1048576 Jul 16 14:39 edits_inprogress_0000000000000000001
-rw-rw-r--. 1 ec2-user ec2-user     395 Jul 16 14:27 fsimage_0000000000000000000
-rw-rw-r--. 1 ec2-user ec2-user      62 Jul 16 14:27 fsimage_0000000000000000000.md5
-rw-rw-r--. 1 ec2-user ec2-user       2 Jul 16 14:27 seen_txid
[ec2-user@ip-192-168-0-101 current]$  hdfs oev -p XML -i edits_inprogress_0000000000000000001 -o /home/ec2-user/workspace/edits.xml
[ec2-user@ip-192-168-0-101 current]$

（3）下面是edits.xml文件的内容, 从中可以找到我们在过000004 - HDFS中不操作的记录。

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<EDITS>
  <EDITS_VERSION>-64</EDITS_VERSION>
  <RECORD>
    <OPCODE>OP_START_LOG_SEGMENT</OPCODE>
    <DATA>
      <TXID>1</TXID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_MKDIR</OPCODE>
    <DATA>
      <TXID>2</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>16386</INODEID>
      <PATH>/tmp</PATH>
      <TIMESTAMP>1721140090939</TIMESTAMP>
      <PERMISSION_STATUS>
        <USERNAME>ec2-user</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>504</MODE>
      </PERMISSION_STATUS>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_MKDIR</OPCODE>
    <DATA>
      <TXID>3</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>16387</INODEID>
      <PATH>/tmp/hadoop-yarn</PATH>
      <TIMESTAMP>1721140090941</TIMESTAMP>
      <PERMISSION_STATUS>
        <USERNAME>ec2-user</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>504</MODE>
      </PERMISSION_STATUS>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_MKDIR</OPCODE>
    <DATA>
      <TXID>4</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>16388</INODEID>
      <PATH>/tmp/hadoop-yarn/staging</PATH>
      <TIMESTAMP>1721140090941</TIMESTAMP>
      <PERMISSION_STATUS>
        <USERNAME>ec2-user</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>504</MODE>
      </PERMISSION_STATUS>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_MKDIR</OPCODE>
    <DATA>
      <TXID>5</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>16389</INODEID>
      <PATH>/tmp/hadoop-yarn/staging/history</PATH>
      <TIMESTAMP>1721140090941</TIMESTAMP>
      <PERMISSION_STATUS>
        <USERNAME>ec2-user</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>504</MODE>
      </PERMISSION_STATUS>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_MKDIR</OPCODE>
    <DATA>
      <TXID>6</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>16390</INODEID>
      <PATH>/tmp/hadoop-yarn/staging/history/done</PATH>
      <TIMESTAMP>1721140090942</TIMESTAMP>
      <PERMISSION_STATUS>
        <USERNAME>ec2-user</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>504</MODE>
      </PERMISSION_STATUS>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_MKDIR</OPCODE>
    <DATA>
      <TXID>7</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>16391</INODEID>
      <PATH>/tmp/hadoop-yarn/staging/history/done_intermediate</PATH>
      <TIMESTAMP>1721140090985</TIMESTAMP>
      <PERMISSION_STATUS>
        <USERNAME>ec2-user</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>493</MODE>
      </PERMISSION_STATUS>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_SET_PERMISSIONS</OPCODE>
    <DATA>
      <TXID>8</TXID>
      <SRC>/tmp/hadoop-yarn/staging/history/done_intermediate</SRC>
      <MODE>1023</MODE>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_MKDIR</OPCODE>
    <DATA>
      <TXID>9</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>16392</INODEID>
      <PATH>/folder-for-test</PATH>
      <TIMESTAMP>1721140762712</TIMESTAMP>
      <PERMISSION_STATUS>
        <USERNAME>ec2-user</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>493</MODE>
      </PERMISSION_STATUS>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ADD</OPCODE>
    <DATA>
      <TXID>10</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>16393</INODEID>
      <PATH>/folder-for-test/upload-file-to-hdfs-test.txt</PATH>
      <REPLICATION>2</REPLICATION>
      <MTIME>1721140763390</MTIME>
      <ATIME>1721140763390</ATIME>
      <BLOCKSIZE>134217728</BLOCKSIZE>
      <CLIENT_NAME>DFSClient_NONMAPREDUCE_-496643430_26</CLIENT_NAME>
      <CLIENT_MACHINE>203.13.23.10</CLIENT_MACHINE>
      <OVERWRITE>true</OVERWRITE>
      <PERMISSION_STATUS>
        <USERNAME>ec2-user</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>420</MODE>
      </PERMISSION_STATUS>
      <ERASURE_CODING_POLICY_ID>0</ERASURE_CODING_POLICY_ID>
      <RPC_CLIENTID>e5cbf485-118b-40ac-9c5a-bb9f22ebd18d</RPC_CLIENTID>
      <RPC_CALLID>2</RPC_CALLID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
    <DATA>
      <TXID>11</TXID>
      <BLOCK_ID>1073741825</BLOCK_ID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
    <DATA>
      <TXID>12</TXID>
      <GENSTAMPV2>1001</GENSTAMPV2>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ADD_BLOCK</OPCODE>
    <DATA>
      <TXID>13</TXID>
      <PATH>/folder-for-test/upload-file-to-hdfs-test.txt</PATH>
      <BLOCK>
        <BLOCK_ID>1073741825</BLOCK_ID>
        <NUM_BYTES>0</NUM_BYTES>
        <GENSTAMP>1001</GENSTAMP>
      </BLOCK>
      <RPC_CLIENTID/>
      <RPC_CALLID>-2</RPC_CALLID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_CLOSE</OPCODE>
    <DATA>
      <TXID>14</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>0</INODEID>
      <PATH>/folder-for-test/upload-file-to-hdfs-test.txt</PATH>
      <REPLICATION>2</REPLICATION>
      <MTIME>1721140765890</MTIME>
      <ATIME>1721140763390</ATIME>
      <BLOCKSIZE>134217728</BLOCKSIZE>
      <CLIENT_NAME/>
      <CLIENT_MACHINE/>
      <OVERWRITE>false</OVERWRITE>
      <BLOCK>
        <BLOCK_ID>1073741825</BLOCK_ID>
        <NUM_BYTES>98</NUM_BYTES>
        <GENSTAMP>1001</GENSTAMP>
      </BLOCK>
      <PERMISSION_STATUS>
        <USERNAME>ec2-user</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>420</MODE>
      </PERMISSION_STATUS>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ADD</OPCODE>
    <DATA>
      <TXID>15</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>16394</INODEID>
      <PATH>/folder-for-test/input.txt</PATH>
      <REPLICATION>2</REPLICATION>
      <MTIME>1721140766132</MTIME>
      <ATIME>1721140766132</ATIME>
      <BLOCKSIZE>134217728</BLOCKSIZE>
      <CLIENT_NAME>DFSClient_NONMAPREDUCE_-496643430_26</CLIENT_NAME>
      <CLIENT_MACHINE>203.13.23.10</CLIENT_MACHINE>
      <OVERWRITE>true</OVERWRITE>
      <PERMISSION_STATUS>
        <USERNAME>ec2-user</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>420</MODE>
      </PERMISSION_STATUS>
      <ERASURE_CODING_POLICY_ID>0</ERASURE_CODING_POLICY_ID>
      <RPC_CLIENTID>e5cbf485-118b-40ac-9c5a-bb9f22ebd18d</RPC_CLIENTID>
      <RPC_CALLID>6</RPC_CALLID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
    <DATA>
      <TXID>16</TXID>
      <BLOCK_ID>1073741826</BLOCK_ID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
    <DATA>
      <TXID>17</TXID>
      <GENSTAMPV2>1002</GENSTAMPV2>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ADD_BLOCK</OPCODE>
    <DATA>
      <TXID>18</TXID>
      <PATH>/folder-for-test/input.txt</PATH>
      <BLOCK>
        <BLOCK_ID>1073741826</BLOCK_ID>
        <NUM_BYTES>0</NUM_BYTES>
        <GENSTAMP>1002</GENSTAMP>
      </BLOCK>
      <RPC_CLIENTID/>
      <RPC_CALLID>-2</RPC_CALLID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_CLOSE</OPCODE>
    <DATA>
      <TXID>19</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>0</INODEID>
      <PATH>/folder-for-test/input.txt</PATH>
      <REPLICATION>2</REPLICATION>
      <MTIME>1721140767591</MTIME>
      <ATIME>1721140766132</ATIME>
      <BLOCKSIZE>134217728</BLOCKSIZE>
      <CLIENT_NAME/>
      <CLIENT_MACHINE/>
      <OVERWRITE>false</OVERWRITE>
      <BLOCK>
        <BLOCK_ID>1073741826</BLOCK_ID>
        <NUM_BYTES>11</NUM_BYTES>
        <GENSTAMP>1002</GENSTAMP>
      </BLOCK>
      <PERMISSION_STATUS>
        <USERNAME>ec2-user</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>420</MODE>
      </PERMISSION_STATUS>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_RENAME_OLD</OPCODE>
    <DATA>
      <TXID>20</TXID>
      <LENGTH>0</LENGTH>
      <SRC>/folder-for-test</SRC>
      <DST>/renamed-folder-for-test</DST>
      <TIMESTAMP>1721140769786</TIMESTAMP>
      <RPC_CLIENTID>40cd6c17-44fc-436c-b929-d3b8d59c778e</RPC_CLIENTID>
      <RPC_CALLID>12</RPC_CALLID>
    </DATA>
  </RECORD>
</EDITS>

2）oiv 查看 Fsimage 文件
（1）基本语法

hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径

（2）因为新启动的hadoop集群的Fsimage内没有记录任何操作，已经执行过的少量操作都还在Edits文件中，没有进行Checkpoint操作，因此直接使用oiv查看Fsimage是看不到任何操作记录的。所以这一步我们要先手动出发CheckPoint操作

[jintao.zhang@Jintaos-MacBook-Pro]$ ssh -i "hadoop-instances-stack-key-pair.pem" ec2-user@13.211.147.164
[ec2-user@ip-192-168-0-101 ~]$ cd software_installation/hadoop-3.1.3/data/dfs/name/current/
[ec2-user@ip-192-168-0-101 current]$ ll
total 1040
-rw-rw-r--. 1 ec2-user ec2-user     217 Jul 16 14:27 VERSION
-rw-rw-r--. 1 ec2-user ec2-user 1048576 Jul 16 14:39 edits_inprogress_0000000000000000001
-rw-rw-r--. 1 ec2-user ec2-user     395 Jul 16 14:27 fsimage_0000000000000000000
-rw-rw-r--. 1 ec2-user ec2-user      62 Jul 16 14:27 fsimage_0000000000000000000.md5
-rw-rw-r--. 1 ec2-user ec2-user       2 Jul 16 14:27 seen_txid
[ec2-user@ip-192-168-0-101 current]$ hdfs dfsadmin -safemode enter
Safe mode is ON
[ec2-user@ip-192-168-0-101 current]$ hdfs dfsadmin -saveNamespace
Save namespace successful
[ec2-user@ip-192-168-0-101 current]$ hdfs dfsadmin -safemode leave
Safe mode is OFF
[ec2-user@ip-192-168-0-101 current]$ ll
total 1052
-rw-rw-r--. 1 ec2-user ec2-user     217 Jul 16 14:51 VERSION
-rw-rw-r--. 1 ec2-user ec2-user    1790 Jul 16 14:51 edits_0000000000000000001-0000000000000000021
-rw-rw-r--. 1 ec2-user ec2-user 1048576 Jul 16 14:51 edits_inprogress_0000000000000000022
-rw-rw-r--. 1 ec2-user ec2-user     395 Jul 16 14:27 fsimage_0000000000000000000
-rw-rw-r--. 1 ec2-user ec2-user      62 Jul 16 14:27 fsimage_0000000000000000000.md5
-rw-rw-r--. 1 ec2-user ec2-user    1046 Jul 16 14:51 fsimage_0000000000000000021
-rw-rw-r--. 1 ec2-user ec2-user      62 Jul 16 14:51 fsimage_0000000000000000021.md5
-rw-rw-r--. 1 ec2-user ec2-user       3 Jul 16 14:51 seen_txid
[ec2-user@ip-192-168-0-101 current]$ cat seen_txid
22

可以看到，出发CheckPoint操作后，产生了一个新的edits_inprogress和fsimage文件, 从seen_txid可以看到，当前生效的edits文件是以22结束的。最新的 fsimage 文件通常会有最大的编号。
（3）接下来执行下面命令查看最新的FSimage文件

[ec2-user@ip-192-168-0-101 current]$ ll
total 1052
-rw-rw-r--. 1 ec2-user ec2-user     217 Jul 16 14:51 VERSION
-rw-rw-r--. 1 ec2-user ec2-user    1790 Jul 16 14:51 edits_0000000000000000001-0000000000000000021
-rw-rw-r--. 1 ec2-user ec2-user 1048576 Jul 16 14:51 edits_inprogress_0000000000000000022
-rw-rw-r--. 1 ec2-user ec2-user     395 Jul 16 14:27 fsimage_0000000000000000000
-rw-rw-r--. 1 ec2-user ec2-user      62 Jul 16 14:27 fsimage_0000000000000000000.md5
-rw-rw-r--. 1 ec2-user ec2-user    1046 Jul 16 14:51 fsimage_0000000000000000021
-rw-rw-r--. 1 ec2-user ec2-user      62 Jul 16 14:51 fsimage_0000000000000000021.md5
-rw-rw-r--. 1 ec2-user ec2-user       3 Jul 16 14:51 seen_txid
[ec2-user@ip-192-168-0-101 current]$ hdfs oiv -p XML -i fsimage_0000000000000000021 -o /home/ec2-user/workspace/fsimage_0000000000000000021.xml
2024-07-16 14:56:01,356 INFO offlineImageViewer.FSImageHandler: Loading 3 strings

（4）fsimage_0000000000000000021.xml文件内容如下,从中可以看到上一步Edits中的所有操作均已合并至了最新的Fsimage上，同时也可以看出来，Fsimage是合并后的最终状态，并不包含操作过程。Fsimage中包含了文件的层级结构以及文件块信息，但是并不包含某个文件块的存储位置信息，存储位置信息是由DateNode上报给NameNode的。

<?xml version="1.0"?>
<fsimage>
	<version>
		<layoutVersion>-64</layoutVersion>
		<onDiskVersion>1</onDiskVersion>
		<oivRevision>ba631c436b806728f8ec2f54ab1e289526c90579</oivRevision>
	</version>
	<NameSection>
		<namespaceId>1022385255</namespaceId>
		<genstampV1>1000</genstampV1>
		<genstampV2>1002</genstampV2>
		<genstampV1Limit>0</genstampV1Limit>
		<lastAllocatedBlockId>1073741826</lastAllocatedBlockId>
		<txid>21</txid>
	</NameSection>
	<ErasureCodingSection>
		<erasureCodingPolicy>
			<policyId>1</policyId>
			<policyName>RS-6-3-1024k</policyName>
			<cellSize>1048576</cellSize>
			<policyState>DISABLED</policyState>
			<ecSchema>
				<codecName>rs</codecName>
				<dataUnits>6</dataUnits>
				<parityUnits>3</parityUnits>
			</ecSchema>
		</erasureCodingPolicy>
		<erasureCodingPolicy>
			<policyId>2</policyId>
			<policyName>RS-3-2-1024k</policyName>
			<cellSize>1048576</cellSize>
			<policyState>DISABLED</policyState>
			<ecSchema>
				<codecName>rs</codecName>
				<dataUnits>3</dataUnits>
				<parityUnits>2</parityUnits>
			</ecSchema>
		</erasureCodingPolicy>
		<erasureCodingPolicy>
			<policyId>3</policyId>
			<policyName>RS-LEGACY-6-3-1024k</policyName>
			<cellSize>1048576</cellSize>
			<policyState>DISABLED</policyState>
			<ecSchema>
				<codecName>rs-legacy</codecName>
				<dataUnits>6</dataUnits>
				<parityUnits>3</parityUnits>
			</ecSchema>
		</erasureCodingPolicy>
		<erasureCodingPolicy>
			<policyId>4</policyId>
			<policyName>XOR-2-1-1024k</policyName>
			<cellSize>1048576</cellSize>
			<policyState>DISABLED</policyState>
			<ecSchema>
				<codecName>xor</codecName>
				<dataUnits>2</dataUnits>
				<parityUnits>1</parityUnits>
			</ecSchema>
		</erasureCodingPolicy>
		<erasureCodingPolicy>
			<policyId>5</policyId>
			<policyName>RS-10-4-1024k</policyName>
			<cellSize>1048576</cellSize>
			<policyState>DISABLED</policyState>
			<ecSchema>
				<codecName>rs</codecName>
				<dataUnits>10</dataUnits>
				<parityUnits>4</parityUnits>
			</ecSchema>
		</erasureCodingPolicy>
	</ErasureCodingSection>
	<INodeSection>
		<lastInodeId>16394</lastInodeId>
		<numInodes>10</numInodes>
		<inode>
			<id>16385</id>
			<type>DIRECTORY</type>
			<name></name>
			<mtime>1721140769786</mtime>
			<permission>ec2-user:supergroup:0755</permission>
			<nsquota>9223372036854775807</nsquota>
			<dsquota>-1</dsquota>
		</inode>
		<inode>
			<id>16386</id>
			<type>DIRECTORY</type>
			<name>tmp</name>
			<mtime>1721140090941</mtime>
			<permission>ec2-user:supergroup:0770</permission>
			<nsquota>-1</nsquota>
			<dsquota>-1</dsquota>
		</inode>
		<inode>
			<id>16387</id>
			<type>DIRECTORY</type>
			<name>hadoop-yarn</name>
			<mtime>1721140090941</mtime>
			<permission>ec2-user:supergroup:0770</permission>
			<nsquota>-1</nsquota>
			<dsquota>-1</dsquota>
		</inode>
		<inode>
			<id>16388</id>
			<type>DIRECTORY</type>
			<name>staging</name>
			<mtime>1721140090941</mtime>
			<permission>ec2-user:supergroup:0770</permission>
			<nsquota>-1</nsquota>
			<dsquota>-1</dsquota>
		</inode>
		<inode>
			<id>16389</id>
			<type>DIRECTORY</type>
			<name>history</name>
			<mtime>1721140090985</mtime>
			<permission>ec2-user:supergroup:0770</permission>
			<nsquota>-1</nsquota>
			<dsquota>-1</dsquota>
		</inode>
		<inode>
			<id>16390</id>
			<type>DIRECTORY</type>
			<name>done</name>
			<mtime>1721140090942</mtime>
			<permission>ec2-user:supergroup:0770</permission>
			<nsquota>-1</nsquota>
			<dsquota>-1</dsquota>
		</inode>
		<inode>
			<id>16391</id>
			<type>DIRECTORY</type>
			<name>done_intermediate</name>
			<mtime>1721140090985</mtime>
			<permission>ec2-user:supergroup:1777</permission>
			<nsquota>-1</nsquota>
			<dsquota>-1</dsquota>
		</inode>
		<inode>
			<id>16392</id>
			<type>DIRECTORY</type>
			<name>renamed-folder-for-test</name>
			<mtime>1721140766132</mtime>
			<permission>ec2-user:supergroup:0755</permission>
			<nsquota>-1</nsquota>
			<dsquota>-1</dsquota>
		</inode>
		<inode>
			<id>16393</id>
			<type>FILE</type>
			<name>upload-file-to-hdfs-test.txt</name>
			<replication>2</replication>
			<mtime>1721140765890</mtime>
			<atime>1721140763390</atime>
			<preferredBlockSize>134217728</preferredBlockSize>
			<permission>ec2-user:supergroup:0644</permission>
			<blocks>
				<block>
					<id>1073741825</id>
					<genstamp>1001</genstamp>
					<numBytes>98</numBytes>
				</block>
			</blocks>
			<storagePolicyId>0</storagePolicyId>
		</inode>
		<inode>
			<id>16394</id>
			<type>FILE</type>
			<name>input.txt</name>
			<replication>2</replication>
			<mtime>1721140767591</mtime>
			<atime>1721140766132</atime>
			<preferredBlockSize>134217728</preferredBlockSize>
			<permission>ec2-user:supergroup:0644</permission>
			<blocks>
				<block>
					<id>1073741826</id>
					<genstamp>1002</genstamp>
					<numBytes>11</numBytes>
				</block>
			</blocks>
			<storagePolicyId>0</storagePolicyId>
		</inode>
	</INodeSection>
	<INodeReferenceSection></INodeReferenceSection>
	<SnapshotSection>
		<snapshotCounter>0</snapshotCounter>
		<numSnapshots>0</numSnapshots>
	</SnapshotSection>
	<INodeDirectorySection>
		<directory>
			<parent>16385</parent>
			<child>16392</child>
			<child>16386</child>
		</directory>
		<directory>
			<parent>16386</parent>
			<child>16387</child>
		</directory>
		<directory>
			<parent>16387</parent>
			<child>16388</child>
		</directory>
		<directory>
			<parent>16388</parent>
			<child>16389</child>
		</directory>
		<directory>
			<parent>16389</parent>
			<child>16390</child>
			<child>16391</child>
		</directory>
		<directory>
			<parent>16392</parent>
			<child>16394</child>
			<child>16393</child>
		</directory>
	</INodeDirectorySection>
	<FileUnderConstructionSection></FileUnderConstructionSection>
	<SecretManagerSection>
		<currentId>0</currentId>
		<tokenSequenceNumber>0</tokenSequenceNumber>
		<numDelegationKeys>0</numDelegationKeys>
		<numTokens>0</numTokens>
	</SecretManagerSection>
	<CacheManagerSection>
		<nextDirectiveId>1</nextDirectiveId>
		<numDirectives>0</numDirectives>
		<numPools>0</numPools>
	</CacheManagerSection>
</fsimage>

3 Hadoop_HDFS_检查点时间设置

还记得我们在执行1.2 oiv 查看 Fsimage 文件时，我们需要手动触发CheckPoint操作，那么CheckPoint操作的默认执行周期和触发时机是什么呢？
1）通常情况下，SecondaryNameNode 每隔一小时执行一次。其配置在[hdfs-default.xml]中

<property>
 <name>dfs.namenode.checkpoint.period</name>
 <value>3600s</value>
</property>

2）一分钟检查一次操作次数，当操作次数达到 1 百万时，SecondaryNameNode 执行一次。

<property>
<name>dfs.namenode.checkpoint.txns</name>
 <value>1000000</value>
<description>操作动作次数</description>
</property>
<property>
 <name>dfs.namenode.checkpoint.check.period</name>
 <value>60s</value>
<description> 1 分钟检查一次操作次数</description>
</property>
张--小涛涛
关注
专栏目录
Hadoop基础【HDFS NN和2NN工作机制、DataNode工作机制】
weixin_43923463的博客
03-03 1088
1、NN和2NN工作机制 一个正常HDFS集群，读取和写入，尤其是读取是十分频繁的，读取则必然需要访问NN，读取元数据（存储数据的数据，比如索引信息），也就是说，在运行的集群中，元数据的读取是十分频繁的，而且时效性比较高，于是，元数据在运行中需要放在内存中（速度比较快）。 将所有元数据放在内存中，又会造成一旦机器断电，所有的元数据就消失不见了。 所以又需要将易丢失的数据放在磁盘上（持久化过程），一个64GB的NN，即使内存全部用来存储，也只能存放4581...
Hadoop HDFS NN和2NN工作机制 NN故障处理（扩展）
有上进心的阿龙
12-21 370
一、Hadoop HDFS NN和2NN工作机制 NN故障处理（扩展） 后面会搭建高可用的集群，不会使用2NN，所以扩展知识。 二、Hadoop HDFS NN和2NN工作机制 集群的安全模式介绍
十二、HDFS-NN和2NN工作机制
铭绵羊
12-22 692
5.hadoop系列之HDFS 读写数据流程、NN和2NN、DataNode工作机制
算法小生
01-08 331
1.第一次启动NameNode格式化后，创建Fsimage和Edits文件，如果不是第一次启动，直接加载Fsimage和Edits到内存。8.NameNode将fsimage.chkpoint重新命名为fsimage,替换旧fsimage。5.Secondary NaneNode加载Edits和Fsimage到内存，并合并。4.将滚动前的Edits和Fsimage拷贝到Secondary NameNode。3.NameNode记录操作日志，更新滚动日志。4.NameNode在内存中对元数据进行增删改。
【Hadoop-HDFS】详细解析NN和2NN工作原理，NN故障处理，NN多目录，集群安全模式
一个写湿的程序猿
07-22 1466
第五章 NameNode和SecondaryNameNode 文章目录第五章 NameNode和SecondaryNameNode5.1 NN和2NN工作机制5.2 Fsimage和Edits解析5.3 CheckPoint时间设置5.4 NameNode故障处理5.5 集群安全模式5.6 NameNode多目录配置 5.1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效
大数据学习笔记2020-09-10--HDFS-HA的工作机制与实现
airleaya的博客
09-10 313
HDFS-HA 的实现原理 HA概述 HA（High Available），即高可用 实现高可用最关建的就是取消单点故障 HA严格来讲分成各个组件的HA： ​ HDFS的HA ​ YARN的HA HDFS-HA的工作机制 ​ 通过双NN（namenode）消除单点故障 HDFS-HA工作要点 元数据管理方式的变化 ​ 内存中各自保持一份元数据 ​ Edits日志只有avtive状态的nn可以写 ​ 两个nn都可以读Edits日志 ​ 共享的Edits放在一个共享存储中管理（qjourna
Hadoop的核心--HDFS
weixin_43908779的博客
03-21 378
Hadoop 1、 Hadoop的介绍 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。 ——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架M...
Hadoop | HDFS 学习笔记（三）HDFS 读写流程 | NN、2NN、DN 工作机制 | FsImage与Edits的合并
希望每天都能进步一点点
01-18 1292
Hadoop3.1.3版本，关于HDFS的第三篇学习笔记，记录了NN、2NN、DN的工作机制，包括NN中Fsimage和Edits的合并机制，还有如何使用命令查看它们的内容
大数据-Hadoop-HDFS(三)：NameNode（NN）、SecondaryNameNode（2NN）
u013250861的博客
04-01 110
但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
志在创建优质博客、通俗易懂、助力大家提高学习效率！
08-12 1489
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的连接类型和条件来合并数据。希望这篇博客能够帮助你更好地理解PySpark中的连接操作，并将其应用于实际的数据处理任务中。
WPF DataGrid 列表中，DataGrid.Columns 列根据不同的值显示不同内容
build2024
09-14 491
需求：在WPF DataGrid 控件中，有以下列，绑定了一个LogType，值分别是0,1,2，根据不同的值，显示不同的内容以及背景 最终效果图如下： 2.接下来，我们需要定义两个转换器（ 和 ），用于根据 LogType 的值来设置背景颜色和显示文本。 2.1 转换器实现 2.2 转换器实现 3.将转换器，添加到资源字典中 在你的 用户控件中，需要将转换器添加到资源字典中，以便在数据模板中使用。添加代码如下：这样就完成了 LogType 列的自定义显示。根据 LogType 的值，可以看到不
【Elasticsearch系列六】系统命令API
最新发布
檀越的博客
09-16 1174
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨。
消息中间件有哪些常见类型
weixin_57763462的博客
09-15 592
需要注意的是，这些类型并不是严格互斥的，有些消息中间件可能支持多种消息传递模式或结合了多种类型的特点。在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。在发布/订阅模型中，消息被发布到特定的主题（Topic）上，所有订阅了该主题的消费者都可以接收到这个消息。消息代理是一种更通用的概念，它涵盖了上述的点对点和发布/订阅模型，以及可能的其他消息传递模式。消息代理作为消息的存储和转发中心，负责消息的路由、过滤、持久化等功能。这类消息系统使用日志结构来存储消息，提供了极高的吞吐量和可扩展性。
【大数据】探索怎么从一段话中解析关键信息（寄件人相关信息）
一个不断前行的程序者
09-12 613
通过使用Spacy的NLP功能，我们成功实现了从文本中提取姓名、地址和电话号码的功能。需要注意的是，这个简单的示例可能在处理复杂文本时效果不佳，实际应用中可能需要进一步的优化和训练。此外，对于电话号码的识别，我们简单地使用了数字长度作为判断依据，这并不准确。在实际应用中，我们可以使用正则表达式来更准确地识别电话号码。希望这个博客能够帮助你了解如何使用NLP技术实现文本信息解析功能。如果有任何疑问，欢迎在评论区留言讨论！
Java 学习路线：语言、框架、中间件与数据库
qq_64272546的博客
09-13 1528
Spring Boot 是 Spring 框架的子项目，可简化 Spring 应用的开发与配置。通过提供一系列默认配置和自动化配置功能，Spring Boot 极大地减轻了开发者的工作量。Spring Cloud 是一系列框架的集合，用于开发分布式系统和微服务架构。它涵盖了负载均衡、服务发现、配置管理、分布式追踪等功能。MyBatis-Plus 是 MyBatis 的增强工具，它在 MyBatis 的基础上提供了大量的易用功能，如单表 CRUD 操作、分页、代码生成器等，旨在简化数据库操作。
测试-Testcontainers
Flying_Fish_roe的博客
09-12 645
Testcontainers 允许你通过自定义 Docker 容器，适用于不在官方支持列表中的服务或应用。// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }// 获取 Redis 的地址和端口 String address = redis . getHost();} } }
SuperMap GIS基础产品FAQ集锦(20240911)
SuperMap技术控
09-12 3510
SuperMap GIS基础产品FAQ集锦(20240911)
海量数据查找最大K个值：数据结构与算法的选择
许你安然的博客
09-13 1103
本文详细探讨了如何在海量数据集中查找最大的K个值，从基础的排序方法到高效的优先队列/堆方法，再到分布式计算框架的应用，以及一些优化策略。通过合理的数据结构和算法选择，我们可以大大提高处理大数据集的效率，确保在有限的时间内获得所需的结果。希望这些信息能够帮助开发者在实际项目中更好地应对大数据处理挑战。
简述hadoop中nn和2nn的工作原理
08-31
### 回答1： Hadoop是一个分布式存储和计算系统。它由一组节点组成，每个节点都有存储和计算功能。 Hadoop中有两种节点：NameNode和DataNode。 NameNode是Hadoop的管理节点，负责维护文件系统的元数据，即文件名、块位置、块大小等信息。它还负责维护文件系统的命名空间，即文件目录结构。 DataNode是Hadoop的存储节点，负责存储文件的实际数据块。它接收来自NameNode的命令，将数据块写入磁盘，并在需要时将数据块读取出来。 Hadoop中还有一个组件：SecondaryNameNode。它的作用是定期从NameNode拉取元数据的副本，并与NameNode进行同步。如果NameNode出现故障，可以使用SecondaryNameNode上的元数据副本来恢复。 简而言之，NameNode负责文件系统的元数据管理和命名空间维护，DataNode负责存储文件的实际数据块，SecondaryNameNode负责与NameNode的元数据同步。 ### 回答2： Hadoop中的NameNode（NN）和SecondaryNameNode（2NN）是HDFS（分布式文件系统）的重要组件，它们都承担着维护文件系统元数据的责任，但在工作原理上有所不同。 NameNode是HDFS的主节点，它负责管理文件系统的命名空间和其它重要的元数据信息。当客户端请求执行某个文件操作时，首先会与NameNode通信，NameNode会返回相应的数据块所在的DataNode列表，然后客户端才能与对应的DataNode进行通信。NameNode还记录了文件的层次结构、文件块的位置、复本数量以及各个DataNode的健康状况等信息。NameNode将元数据信息存储在内存中，并定期将其持久化到本地磁盘以防止系统故障时的数据损失。因此，NameNode的工作可简单概括为处理元数据请求、维护文件系统结构、存储数据块位置信息。 SecondaryNameNode（或者称为CheckpointNode）并不是NameNode的替代物，仅用于辅助NameNode进行元数据的备份和合并。SecondaryNameNode根据预定的时间间隔或事务数目，从主节点中得到元数据的快照，并将其存储在本地文件系统上。这样就可以在主节点出现故障的情况下，通过使用SecondaryNameNode上的快照信息来恢复主节点。此外，SecondaryNameNode还负责合并NameNode的编辑日志，将内存中的元数据信息与编辑日志中存储的增量变更合并，减轻了NameNode的元数据负担。 综上所述，NameNode是Hadoop中负责管理文件系统元数据的主节点，而SecondaryNameNode则是辅助NameNode进行备份和合并工作的节点。它们的工作原理是相辅相成的，共同维护HDFS的可靠性和高可用性，在大规模数据存储和处理的分布式环境中起到了关键的作用。 ### 回答3： Hadoop中的NN（NameNode）和2NN（Secondary NameNode）是Hadoop分布式文件系统（HDFS）中的关键组件，它们共同协同工作来保障数据的高可用性和数据一致性。 NN是HDFS的主节点，负责存储和管理文件系统的元数据信息，包括文件和目录的命名空间、块到数据节点的映射关系等。NN也负责处理客户端的文件操作请求，例如文件的读写、创建和删除等。NN将元数据以文件（fsimage）和编辑日志（edits）的形式存储在本地磁盘上。NN的工作原理如下： 1. 当客户端发起文件写入请求时，NN接收到请求后会先将文件的元数据记录到内存中，并返回给客户端一个文件写入路径。 2. 当客户端结束文件写入后，NN将文件划分为固定大小的数据块，并记录下每个数据块所在的数据节点信息。 3. 当客户端请求文件读取时，NN根据文件元数据信息获取到数据块的位置，并返回给客户端所需的数据节点信息。 2NN是NN的辅助节点，它主要用来定期合并NN的文件系统元数据和编辑日志，生成新的文件系统镜像（fsimage）和编辑日志快照（edits），以便在NN发生故障时进行故障恢复。2NN的工作原理如下： 1. 2NN定期从NN获取文件系统的编辑日志，并将这些编辑日志合并到之前的镜像文件上，生成新的文件系统镜像和编辑日志快照。 2. 当NN发生故障时，2NN可以用其最新的文件系统镜像和编辑日志快照来帮助恢复NN，以保障文件系统的高可用性。 总结来说，NN负责管理HDFS的文件系统元数据信息和处理客户端的文件操作请求，2NN则负责定期合并NN的元数据信息和编辑日志，以备份和恢复NN的故障。通过NN和2NN的协同工作，Hadoop能够提供高可用性的分布式文件存储和处理服务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值