NameNode运行原理浅析

原创 2015年11月20日 10:57:07
hadoop版本:Apache Hadoop 2.6.0
instance的role type主要有3个,namenode,secondary namenode和data node;其他的还有balancer,backup node等

1.HDFS存储在本地操作系统磁盘的目录结构
NameNode:
/data/dfs/nn/current
-rw-r--r-- 1 hdfs hdfs 322K Apr 17 08:41 edits_0000000000007093753-0000000000007096223
-rw-r--r-- 1 hdfs hdfs 338K Apr 17 09:41 edits_0000000000007096224-0000000000007098803
-rw-r--r-- 1 hdfs hdfs 361K Apr 17 10:41 edits_0000000000007098804-0000000000007101548
-rw-r--r-- 1 hdfs hdfs 1.0M Apr 17 11:13 edits_inprogress_0000000000007101549
-rw-r--r-- 1 hdfs hdfs 53M Apr 17 09:41 fsimage_0000000000007098803
-rw-r--r-- 1 hdfs hdfs 62 Apr 17 09:41 fsimage_0000000000007098803.md5
-rw-r--r-- 1 hdfs hdfs 53M Apr 17 10:41 fsimage_0000000000007101548
-rw-r--r-- 1 hdfs hdfs 62 Apr 17 10:41 fsimage_0000000000007101548.md5
-rw-r--r-- 1 hdfs hdfs 8 Apr 17 10:41 seen_txid
-rw-r--r-- 1 hdfs hdfs 173 Nov 13 12:05 VERSION
Secondary NameNode:
/data1/dfs/snn/current
-rw-r--r-- 1 hdfs hdfs 322K Apr 17 08:41 edits_0000000000007093753-0000000000007096223
-rw-r--r-- 1 hdfs hdfs 338K Apr 17 09:41 edits_0000000000007096224-0000000000007098803
-rw-r--r-- 1 hdfs hdfs 361K Apr 17 10:41 edits_0000000000007098804-0000000000007101548
-rw-r--r-- 1 hdfs hdfs 53M Apr 17 09:41 fsimage_0000000000007098803
-rw-r--r-- 1 hdfs hdfs 62 Apr 17 09:41 fsimage_0000000000007098803.md5
-rw-r--r-- 1 hdfs hdfs 53M Apr 17 10:41 fsimage_0000000000007101548
-rw-r--r-- 1 hdfs hdfs 62 Apr 17 10:41 fsimage_0000000000007101548.md5
-rw-r--r-- 1 hdfs hdfs 173 Apr 17 10:41 VERSION
2.NameNode中一共有4种文件:
edits_{x}_{y}:和fsimage已经merger过的transaction记录文件,x为起始transaction记号,y为截止号
edits_inprogress_{y}:尚未和fsimage merger过的transaction记录文件,y为transaction截止号
fsimage_{y}:namenode的namespace存在本地的checkpoint文件,存储了y为transaction截止号;一般会有两个,文件生成时间间隔为设置的checkpoint生成间隔时间;


*NameNode上只有在启动时才会合并最新的fsimage_{y}和edits_inprogress_{y}文件 



NameNode时序图:

上图中第三步最新的配置为:
1.fs.checkpoint.period, dfs.namenode.checkpoint.period:The time between two periodic file system checkpoints.
2.dfs.namenode.checkpoint.txns:The number of transactions after which the NameNode or SecondaryNameNode will create a checkpoint of the namespace, regardless of whether the checkpoint period has expired.
版权声明:除了标记为原创文章以外,其他均为转载,并在正文开头标注了原文地址,如有侵权请告知删除。原创文章可随意转载。

浅析YarnRPC和Hadoop RPC的关系

浅析YarnRPC和Hadoop RPC的关系 本文将以Yarn的ResourceManager与开发者编写的Client之间的协议(Java接口)ApplicationClientProtocol...
  • lzufeng
  • lzufeng
  • 2017年06月19日 19:34
  • 207

hadoop的NAMENODE的管理机制,工作机制和DATANODE的工作原理

1:分布式文件系统(Distributed File System): (1):数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因...
  • Biexiansheng
  • Biexiansheng
  • 2017年09月08日 15:17
  • 292

浅析Python运行原理

1. 简单的例子 先从一个简单的例子说起,包含了两个文件 foo.py 和 demo.py [foo.py] def add(a, b): return a + b [d...
  • wl6965307
  • wl6965307
  • 2017年06月19日 18:40
  • 225

jsp运行原理浅析

这样分两种情况 第一种是第一次访问jsp页面是 客户端向服务器发送请求 当服务器收到请求是 jsp页面也就是.jsp文件,先经过服务器如tomcat翻译成java文件也就是.java文件,翻译好的ja...
  • LiSped
  • LiSped
  • 2013年01月18日 18:28
  • 122

大数据实战下笔记——Hadoop NameNode HA的原理

NameNode高可用整体(HA)框架NameNode的主备切换NameNode的共享存储 一.NameNode高可用整体框架 组件: 两个NameNode,一个在Active上,一个在S...
  • xqclll
  • xqclll
  • 2016年08月21日 23:00
  • 1326

spark如何利用namenode HA

1. 编辑/etc/spark/conf下的文件spark-env.sh +export HADOOP_CONF_DIR=/etc/hadoop/conf +export HADOOP_HOME=...
  • victory0508
  • victory0508
  • 2017年04月07日 10:58
  • 274

Hadoop NameNode HA实现解析

NameNode HA高可用架构详解
  • jiweiwong
  • jiweiwong
  • 2016年06月28日 11:51
  • 1346

浅析 Secondary NameNode(辅助namenode)

浅析 Secondary NameNode(辅助namenode)
  • yangjjuan
  • yangjjuan
  • 2017年05月03日 11:26
  • 1268

HDFS2.X源码分析之:NameNode读文件原理

原文出自云台博客:http://yuntai.1kapp.com/?p=952 HDFS被设计成写一次,读多次的应用场景,这应该跟它的MapReduce机制是紧密关联的,通过对线上的读写比例监控,大...
  • liuhong1123
  • liuhong1123
  • 2013年01月03日 22:21
  • 1220

Namenode HA原理详解

在hadoop1中NameNode存在一个单点故障问题,也就是说如果NameNode所在的机器发生故障,那么整个集群就将不可用(hadoop1中有个SecorndaryNameNode,但是它并不是N...
  • daydayup_668819
  • daydayup_668819
  • 2017年04月26日 18:13
  • 520
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:NameNode运行原理浅析
举报原因:
原因补充:

(最多只允许输入30个字)