NameNode运行原理浅析

原创 2015年11月20日 10:57:07
hadoop版本:Apache Hadoop 2.6.0
instance的role type主要有3个,namenode,secondary namenode和data node;其他的还有balancer,backup node等

1.HDFS存储在本地操作系统磁盘的目录结构
NameNode:
/data/dfs/nn/current
-rw-r--r-- 1 hdfs hdfs 322K Apr 17 08:41 edits_0000000000007093753-0000000000007096223
-rw-r--r-- 1 hdfs hdfs 338K Apr 17 09:41 edits_0000000000007096224-0000000000007098803
-rw-r--r-- 1 hdfs hdfs 361K Apr 17 10:41 edits_0000000000007098804-0000000000007101548
-rw-r--r-- 1 hdfs hdfs 1.0M Apr 17 11:13 edits_inprogress_0000000000007101549
-rw-r--r-- 1 hdfs hdfs 53M Apr 17 09:41 fsimage_0000000000007098803
-rw-r--r-- 1 hdfs hdfs 62 Apr 17 09:41 fsimage_0000000000007098803.md5
-rw-r--r-- 1 hdfs hdfs 53M Apr 17 10:41 fsimage_0000000000007101548
-rw-r--r-- 1 hdfs hdfs 62 Apr 17 10:41 fsimage_0000000000007101548.md5
-rw-r--r-- 1 hdfs hdfs 8 Apr 17 10:41 seen_txid
-rw-r--r-- 1 hdfs hdfs 173 Nov 13 12:05 VERSION
Secondary NameNode:
/data1/dfs/snn/current
-rw-r--r-- 1 hdfs hdfs 322K Apr 17 08:41 edits_0000000000007093753-0000000000007096223
-rw-r--r-- 1 hdfs hdfs 338K Apr 17 09:41 edits_0000000000007096224-0000000000007098803
-rw-r--r-- 1 hdfs hdfs 361K Apr 17 10:41 edits_0000000000007098804-0000000000007101548
-rw-r--r-- 1 hdfs hdfs 53M Apr 17 09:41 fsimage_0000000000007098803
-rw-r--r-- 1 hdfs hdfs 62 Apr 17 09:41 fsimage_0000000000007098803.md5
-rw-r--r-- 1 hdfs hdfs 53M Apr 17 10:41 fsimage_0000000000007101548
-rw-r--r-- 1 hdfs hdfs 62 Apr 17 10:41 fsimage_0000000000007101548.md5
-rw-r--r-- 1 hdfs hdfs 173 Apr 17 10:41 VERSION
2.NameNode中一共有4种文件:
edits_{x}_{y}:和fsimage已经merger过的transaction记录文件,x为起始transaction记号,y为截止号
edits_inprogress_{y}:尚未和fsimage merger过的transaction记录文件,y为transaction截止号
fsimage_{y}:namenode的namespace存在本地的checkpoint文件,存储了y为transaction截止号;一般会有两个,文件生成时间间隔为设置的checkpoint生成间隔时间;


*NameNode上只有在启动时才会合并最新的fsimage_{y}和edits_inprogress_{y}文件 



NameNode时序图:

上图中第三步最新的配置为:
1.fs.checkpoint.period, dfs.namenode.checkpoint.period:The time between two periodic file system checkpoints.
2.dfs.namenode.checkpoint.txns:The number of transactions after which the NameNode or SecondaryNameNode will create a checkpoint of the namespace, regardless of whether the checkpoint period has expired.
版权声明:除了标记为原创文章以外,其他均为转载,并在正文开头标注了原文地址,如有侵权请告知删除。原创文章可随意转载。

相关文章推荐

tomcat内部运行原理浅析

1 - Tomcat Server的组成部分 1.1 - Server A Server element represents the entire Catalina servlet cont...

HTTP协议/IIS 原理及ASP.NET运行机制浅析

本文是转自火龙果 http://www.uml.org.cn/wenzhang/artindex.asp 前言  原文章地址http://www.uml.org.cn/net/2013061...

浅析Python运行原理

1. 简单的例子 先从一个简单的例子说起,包含了两个文件 foo.py 和 demo.py [foo.py] def add(a, b): return a + b [d...

Asp.net WebPages框架运行原理浅析

在Asp.net4和4.5中,新增了WebPages Framework,编写页面代码使用了新的Razor语法,代码更加的简洁和符合Web标准 在Asp.net4和4.5中,新增了Web...

HTTP协议/IIS 原理及ASP.NET运行机制浅析【图解】

转自:http://www.uml.org.cn/net/201306193.asp 前言 前一段在整理邮件的时候发现几年前和CDD老师交流时的一份邮件.下面是简单摘要: “从技术角...

浅析tornado协程运行原理

转载:http://xidui.github.io/2016/01/26/%E6%B5%85%E6%9E%90tornado%E5%8D%8F%E7%A8%8B%E8%BF%90%E8%A1%8C%E...

HTTP协议/IIS 原理及ASP.NET运行机制浅析【图解】(3)

ASP.NET运行机制 在IIS6图示中我们分析到“ AppManagerAppDomainFactory 的 Create 方法为 Application 创建一个 Application Dom...

浅析Hadoop Secondary NameNode,CheckPoint Node,Backup Node

//李智慧 Secondary NameNode Hadoop SecondaryNameNode并不是Hadoop 第二个NameNode,它不提供NameNode服务,而仅仅是NameNode...

_00006 Hadoop FileSystem源码浅析(如何与NameNode通信)

# FileSystem的create方法(主要是围绕下面这张原理图说的) public FSDataOutputStream create(Pathf) throws IOException ...

_00004 Hadoop NameNode源码浅析(RPC是基础)

# NameNode源码分析(RPC是基础) # 知道了RPC原理才能更好的理解NameNode # 进入NameNode的源代码找到main方法(由于NameNode是一个RPC的服务端,所以我们进...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:NameNode运行原理浅析
举报原因:
原因补充:

(最多只允许输入30个字)