浅析Hadoop中namenode和datanode

1.namenode职能

存储文件的类型、大小、权限、路径等基本元数据，文件的存储通过edits(编辑日志)和fsimage(镜像文件)进行存储,其中编辑日志存放的是操作日志,包括用户的基本操作和系统的写入信息.

在写操作过程中，整个流程分为以下阶段

              1、创建copying文件

在写操作过程中，整个流程分为以下阶段

              1、创建copying文件

              2、在copying文件中写入数据

              3、重命名

           查看镜像文件： hdfs oiv -i fsimage_0000000000000000029 -o ~/fsimage.xml -p XML

           镜像文件中，存放所有文件和文件夹的源信息的树形结构

2.datanode职能

  作用: 存储真实数据，通过blk(块)方式存储

副本概念： 文件备份数，通过hdfs-site.xml指定副本数

块：       hdfs文件在存储时，是以块为单位进行存储，块大小即文件块的最大值

   块大小：   128M

 

    Block ID: 1073741825 //块的id

 

    Block Pool ID: BP-744340204-192.168.23.101-1532227531779

 

    Generation Stamp: 1004  //时间戳

 

    Size: 60

 

    Availability:   //存储的节点位置

 

        102

        103

        104