Hadoop HDFS 一篇文章了解学习HDFS

一 HDFS概述

1.1 HDFS产生背景

​ 随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

1.2 HDFS概念

• HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
• HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

1.3 HDFS优缺点

• 1.3.1 优点

  • 1）高容错性
    • （1）数据自动保存多个副本。它通过增加副本的形式，提高容错性。
    • （2）某一个副本丢失以后，它可以自动恢复。
  • 2）适合大数据处理
    • （1）数据规模：能够处理数据规模达到 GB、TB、甚至PB级别的数据。
    • （2）文件规模：能够处理百万规模以上的文件数量，数量相当之大。
  • 3）流式数据访问，它能保证数据的一致性。
  • 4）可构建在廉价机器上，通过多副本机制，提高可靠性。

• 1.3.2 缺点

  • 1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。

  • 2）无法高效的对大量小文件进行存储

    • （1）存储大量小文件的话，它会占用 NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的，存取小文件无法实现高效率。
    • （2）小文件存储的寻道时间会超过读取时间，它违反了HDFS的设计目标。

  • 3）并发写入、文件随机修改

    • （1）一个文件只能有一个写，不允许多个线程同时写。
    • （2）仅支持数据 append（追加），不支持文件的随机修改。

1.4 HDFS组成架构

• Hdfs架构

  

• 1）Client：就是客户端。

  • （1）文件切分。文件上传 HDFS 的时候，Client 将文件切分成多个的Block，然后进行存储。
  • （2）与NameNode交互，获取文件的位置信息。
  • （3）与DataNode交互，读取或者写入数据。
  • （4）Client提供一些命令来管理HDFS，比如启动或者关闭HDFS。
  • （5）Client可以通过一些命令来访问HDFS。

• 2）NameNode：就是Master，它是一个主管、管理者。

  • （1）管理HDFS的名称空间。
  • （2）管理数据块（Block）映射信息。
  • （3）配置副本策略。
  • （4）处理客户端读写请求。

• 3）DataNode：就是Slave，NameNode下达命令，DataNode执行实际的操作。

  • （1）存储实际的数据块。
  • （2）执行数据块的读/写操作。

• 4）Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。

  • （1）辅助NameNode，分担其工作量。
  • （2）定期合并Fsimage和Edits，并推送给NameNode。
  • （3）在紧急情况下，可辅助恢复NameNode。

1.5 HDFS 文件块大小

• HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。

• HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。如果块设置得足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而，传输一个由多个块组成的文件的时间取决于磁盘传输速率。

• 如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB。默认的块大小128MB。

• 块的大小：10ms* 100*100M/s = 100M

• HDFS 文件块大小

  

二 HFDS的Shell操作

1）基本语法

• bin/hadoop fs 具体命令
• bin/hdfs dfs 具体命令

2）命令大全

• hadoop@hadoop102 hadoop-2.7.2]$ bin/hadoop fs

  [-appendToFile <localsrc> ... <dst>]
  [-cat [-ignoreCrc] <src> ...]
  [-checksum <src> ...]
  [-chgrp [-R] GROUP PATH...]
  [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] 
  [-chown [-R] [OWNER][:[GROUP]] PATH...] 
  [-copyFromLocal [-f] [-p] <localsrc> ... <dst>] 
  [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] 
  [-count [-q] <path> ...] 
  [-cp [-f] [-p] <src> ... <dst>] 
  [-createSnapshot <snapshotDir> [<snapshotName>]] 
  [-deleteSnapshot <snapshotDir> <snapshotName>] 
  [-df [-h] [<path> ...]]
  [-du [-s] [-h] <path> ...]
  [-expunge]
  [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
  [-getfacl [-R] <path>]
  [-getmerge [-nl] <src> <localdst>]
  [-help [cmd ...]]
  ...
  

3）常用命令实操

• （0）启动Hadoop集群（方便后续的测试）

  [123@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh 
  [123@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh 
  

• （1）-help：输出这个命令参数

  [123@hadoop102 hadoop-2.7.2]$ hadoop fs -help rm
  

• （2）-ls: 显示目录信息

  [123@hadoop102 hadoop-2.7.2]$ hadoop fs -ls /
  

• （3）-mkdir：在hdfs上创建目录

 [123@hadoop102 hadoop-2.7.2]$ hadoop fs -mkdir -p /user/123/test

• （4）-moveFromLocal从本地剪切粘贴到hdfs

 [123@hadoop102 hadoop-2.7.2]$ touch jinlian.txt
 [123@hadoop102 hadoop-2.7.2]$ hadoop  fs  -moveFromLocal  ./jinlian.txt  /user/123/test

• （5）-appendToFile ：追加一个文件到已经存在的文件末尾

 [123@hadoop102 hadoop-2.7.2]$ touch ximen.txt
 [123@hadoop102 hadoop-2.7.2]$ vi ximen.txt

输入文本内容

 [123@hadoop102 hadoop-2.7.2]$ hadoop fs -appendToFile ximen.txt /user/123/test/jinlian.txt

• （6）-cat ：显示文件内容

• （7）-tail：显示一个文件的末尾

 [123@hadoop102 hadoop-2.7.2]$ hadoop fs -tail /user/123/test/jinlian.txt

• （8）-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限

[123@hadoop102 hadoop-2.7.2]$ hadoop fs  -chmod  666  /user/123/test/jinlian.txt
[123@hadoop102 hadoop-2.7.2]$ hadoop fs  -chown  123:123   /user/123/test/jinlian.txt

• （9）-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去

[123@hadoop102 hadoop-2.7.2]$ hadoop fs -copyFromLocal README.txt /user/123/test

• （10）-copyToLocal：从hdfs拷贝到本地

[123@hadoop102 hadoop-2.7.2]$ hadoop fs -copyToLocal /user/123/test/jinlian.txt ./jinlian.txt

• （11）-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

[123@hadoop102 hadoop-2.7.2]$ hadoop fs -cp /user/123/test/jinlian.txt /jinlian2.txt

• （12）-mv：在hdfs目录中移动文件

[123@hadoop102 hadoop-2.7.2]$ hadoop fs -mv /jinlian2.txt /user/123/test/

• （13）-get：等同于copyToLocal，就是从hdfs下载文件到本地

[123@hadoop102 hadoop-2.7.2]$ hadoop fs -get /user/123/test/jinlian2.txt ./

• （14）-getmerge ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…

[123@hadoop102 hadoop-2.7.2]$ hadoop fs -getmerge /user/123/test/* ./zaiyiqi.txt

• （15）-put：等同于copyFromLocal

[123@hadoop102 hadoop-2.7.2]$ hadoop fs -put ./zaiyiqi.txt /user/123/test/

• （16）-rm：删除文件或文件夹

[123@hadoop102 hadoop-2.7.2]$ hadoop fs -rm /user/123/test/jinlian2.txt

• （17）-rmdir：删除空目录

[123@hadoop102 hadoop-2.7.2]$ hadoop fs -mkdir /test
[123@hadoop102 hadoop-2.7.2]$ hadoop fs -rmdir /test

• （18）-du统计文件夹的大小信息

[123@hadoop102 hadoop-2.7.2]$ hadoop fs -du -s -h /user/123/test

2.7 K /user/123/test

[123@hadoop102 hadoop-2.7.2]$ hadoop fs -du  -h /user/123/test

1.3 K /user/123/test/README.txt

15 /user/123/test/jinlian.txt

1.4 K /user/123/test/zaiyiqi.txt

• （19）-setrep：设置hdfs中文件的副本数量

[123@hadoop102 hadoop-2.7.2]$ hadoop fs -setrep 2 /user/123/test/jinlian.txt

这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。

三 HDFS客户端操作

3.1 HDFS客户端环境准备

• 大数据技术之HDFS客户端环境准备

3.2 HDFS的API操作

• 3.2.1 HDFS文件上传（测试参数优先级）

  • 1）详细代码

  @Test
  public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException {
    // 1 获取文件系统
    Configuration configuration = new Configuration();
    configuration.set("dfs.replication", "2"); //副本数量
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "123");
    // 2 上传文件
    fs.copyFromLocalFile(new Path("e:/hello.txt"), new Path("/hello5.txt"));
    // 3 关闭资源
    fs.close();
    System.out.println("over"); 
  }
  

  • 2）将hdfs-site.xml拷贝到项目的根目录下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property> 
</configuration>

• 参数优先级

  • 1）客户端代码中设置的值
  • 2）classpath下的用户自定义配置文件
  • 3）然后是服务器的默认配置

3.2.2 HDFS文件下载

@Test
public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{
  // 1 获取文件系统
  Configuration configuration = new Configuration();
  FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "123");
  // 2 执行下载操作
  // boolean delSrc 指是否将原文件删除
  // Path src 指要下载的文件路径
  // Path dst 指将文件下载到的路径
  // boolean useRawLocalFileSystem 是否开启文件效验
  fs.copyToLocalFile(false, new Path("/hello1.txt"), new Path("e:/hello1.txt"), true);
  // 3 关闭资源
  fs.close();
}

3.2.3 HDFS目录创建

@Test
public void testMkdirs() throws IOException, InterruptedException, URISyntaxException{
  // 1 获取文件系统
  Configuration configuration = new Configuration();
  FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "123");
  // 2 创建目录
  fs.mkdirs(new Path("/0906/daxian/banzhang"));
  // 3 关闭资源
  fs.close();
} 

3.2.4 HDFS文件夹删除

@Test
public void testDelete() throws IOException, InterruptedException, URISyntaxException{
  // 1 获取文件系统
  Configuration configuration = new Configuration();
  FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "123");
  // 2 执行删除
  fs.delete(new Path("/0906/"), true);
  // 3 关闭资源
  fs.close();
}

3.2.5 HDFS文件名更改

@Test
public void testRename() throws IOException, InterruptedException, URISyntaxException{
  // 1 获取文件系统
  Configuration configuration = new Configuration();
  FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "123"); 
  // 2 修改文件名称
  fs.rename(new Path("/hello.txt"), new Path("/hello6.txt"));
  // 3 关闭资源
  fs.close();
}

3.2.6 HDFS文件详情查看

@Test
public void testListFiles() throws IOException, InterruptedException, URISyntaxException{
  // 1获取文件系统
  Configuration configuration = new Configuration();
  FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "123"); 
  // 2 获取文件详情
  RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
  while(listFiles.hasNext()){
    LocatedFileStatus status = listFiles.next();
    // 输出详情
    // 文件名称
    System.out.println(status.getPath().getName());
    // 长度
    System.out.println(status.getLen());
    // 权限
    System.out.println(status.getPermission());
    // z组
    System.out.println(status.getGroup());
    // 获取存储的块信息
    BlockLocation[] blockLocations = status.getBlockLocations();
    for (BlockLocation blockLocation : blockLocations) {
      // 获取块存储的主机节点
      String[] hosts = blockLocation.getHosts();
      for (String host : hosts) {
        System.out.println(host);
      }
    }
    System.out.println("----------------班长的分割线-----------");
  }
}

3.2.7 HDFS文件和文件夹判断

@Test
public void testListStatus() throws IOException, InterruptedException, URISyntaxException{
  // 1获取文件系统
  Configuration configuration = new Configuration();
  FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "123"); 
  // 2 判断是否是文件还是文件夹
  FileStatus[] listStatus = fs.listStatus(new Path("/"));
  for (FileStatus fileStatus : listStatus) {
    // 如果是文件
    if (fileStatus.isFile()) {
      System.out.println("f:"+fileStatus.getPath().getName());
    }else {
      System.out.println("d:"+ fileStatus.getPath().getName());
    }
  }
}

3.3 HDFS的I/O流操作

3.3.1 HDFS文件上传

@Test
public void putFileToHDFS() throws IOException, InterruptedException, URISyntaxException {   // 1 获取文件系统
  Configuration configuration = new Configuration();
  FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "123");
  // 2 创建输入流
  FileInputStream fis = new FileInputStream(new File("e:/hello.txt"));
  // 3 获取输出流
  FSDataOutputStream fos = fs.create(new Path("/hello4.txt"));
  // 4 流对拷
  IOUtils.copyBytes(fis, fos, configuration);
  // 5 关闭资源
  IOUtils.closeStream(fis);
  IOUtils.closeStream(fos);
}

3.3.2 HDFS文件下载

@Test
public void getFileFromHDFS() throws IOException, InterruptedException, URISyntaxException{  // 1 获取文件系统
  Configuration configuration = new Configuration();
  FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "123");
  // 2 获取输人流
  FSDataInputStream fis = fs.open(new Path("/hello1.txt"));
  // 3 获取输出流
  FileOutputStream fos = new FileOutputStream(new File("e:/hello1.txt"));
  // 4 流的对拷
  IOUtils.copyBytes(fis, fos, configuration);
  // 5 关闭资源
  IOUtils.closeStream(fis);
  IOUtils.closeStream(fos);
  fs.close();
}

• 1）需求：从HDFS上下载文件到本地控制台上。
• 2）实操：
  • 1 获取文件系统
  • 2 获取输入流
  • 3 获取输出流
    • 4 流对拷
  • 5 关闭资源

3.3.3 定位文件读取

• 1）下载第一块

  @Test
  public void readFileSeek1() throws IOException, InterruptedException, URISyntaxException{
    // 1 获取文件系统
    Configuration configuration = new Configuration();
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "123");
    // 2 获取输入流
    FSDataInputStream fis = fs.open(new Path("/hadoop-2.7.2.tar.gz"));
    // 3 创建输出流
    FileOutputStream fos = new FileOutputStream(new File("e:/hadoop-2.7.2.tar.gz.part1"));
    // 4 流的拷贝
    byte[] buf = new byte[1024];
    for(int i =0 ; i < 1024 * 128; i++){
      fis.read(buf);
      fos.write(buf);
    }
    // 5 关闭资源
    IOUtils.closeStream(fis);
    IOUtils.closeStream(fos);
  }
  

• 2）下载第二块

@Test
public void readFileSeek2() throws IOException, InterruptedException, URISyntaxException{
  // 1 获取文件系统
  Configuration configuration = new Configuration();
  FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "123");
  // 2 打开输入流
  FSDataInputStream fis = fs.open(new Path("/hadoop-2.7.2.tar.gz"));
  // 3 定位输入数据位置
  fis.seek(1024*1024*128);
  // 4 创建输出流
  FileOutputStream fos = new FileOutputStream(new File("e:/hadoop-2.7.2.tar.gz.part2"));
  // 5 流的对拷
  IOUtils.copyBytes(fis, fos, configuration);
  // 6 关闭资源
  IOUtils.closeStream(fis);
  IOUtils.closeStream(fos);
}  

• fis.seek

  • 1 获取文件系统
  • 2 打开输入流
  • 3 定位输入数据位置
  • fis.seek
  • 4 创建输出流
  • 5 流的对拷
  • 6 关闭资源

• 3）合并文件

  • 在window命令窗口中执行

  type hadoop-2.7.2.tar.gz.part2 >> hadoop-2.7.2.tar.gz.part1

四 HDFS的数据流

4.1 HDFS写数据流程

剖析文件写入

1）客户端通过Distributed FileSystem模块向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。

2）namenode返回是否可以上传。

3）客户端请求第一个 block上传到哪几个datanode服务器上。

4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。

5）客户端通过FSDataOutputStream模块请t求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。

6）dn1、dn2、dn3逐级应答客户端。

7）客户端开始往dn1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，dn1收到一个packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
8）当一个block传输完成之后，客户端再次请求namenode上传第二个block的服务器。（重复执行3-7步）。

写数据

• client端将文件切分为block，依次上传

网络拓扑概念

在本地网络中，两个节点被称为“彼此近邻”是什么意思？在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里的想法是将两个节点间的带宽作为距离的衡量标准。

• 节点距离：两个节点到达最近的共同祖先的距离总和。

• 节点

  • 不同节点2
    • 机架
      • 不同机架4
    • 集群
      • 不同集群6

机架感知（副本节点选择）

• block副本在DataNode中，有多个副本的存在，在不同机架中、不同节点上、甚至不同集群上都存在副本，在出现某个机架、节点、集群损坏时，能够通过网络拓扑尽快找到副本。

• 1）官方ip地址：

  • http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/RackAwareness.html

  • http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication

• 2）低版本Hadoop复本节点选择

  

  • 第一个复本在client所处的节点上。如果客户端在集群外，随机选一个。
  • 第二个复本和第一个复本位于不相同机架的随机节点上。
  • 第三个复本和第二个复本位于相同机架，节点随机。

• 3）Hadoop2.7.2副本节点选择

  

  • 第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。
  • 第二个副本和第一个副本位于相同机架，随机节点。
  • 第三个副本位于不同机架，随机节点。

4.2 HDFS读数据流程

1）客户端通过Distributed FileSystem向namenode请求下载文件，namenode通过==查询元数据==，找到文件块所在的datanode地址。

2）挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。

3）datanode开始传输数据给客户端（从磁盘里面读取数据输入流，以packet为单位来做校验）。

4）客户端以packet为单位接收，先在本地缓存，然后写入目标文件。

• 2）HDFS如何控制客户端读取哪个副本节点数据

  • HDFS满足客户端访问副本数据的最近原则。即客户端距离哪个副本数据最近，HDFS就让哪个节点把数据给客户端。

五 NameNode和SecondaryNameNode

5.1 NN&2NN工作机制

Fsimage：namenode内存中元数据序列化后形成的文件。
Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）

secondarynamenode的作用就是帮助namenode进行edits和fsimage的合并工作。

工作过程：

• 第一阶段：namenode启动
  • 第一次启动namenode格式化后，创建fsimage和edits文件。
    • 如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
  • 客户端对元数据进行增删改的请求
  • namenode记录操作日志，更新滚动日志。
  • namenode在内存中对数据进行增删改
• 第二阶段：Secondary NameNode工作
  • Secondary NameNode询问namenode是否需要checkpoint，直接带回namenode是否检查结果。
    • 当1) 时间到了 2)edits数据满了 时需要checkpoint。
  • Secondary NameNode请求执行checkpoint。
  • namenode滚动正在写的edits日志。
  • 将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
  • Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
  • 生成新的镜像文件fsimage.chkpoint。
  • 拷贝fsimage.chkpoint到namenode。
  • namenode将fsimage.chkpoint重新命名成fsimage。

5.2 Fsimage和Edits解析

• 1）概念

  • namenode被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下文件

    fsimage_0000000000000000000
    fsimage_0000000000000000000.md5
    seen_txid
    VERSION

    • （1）Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。
    • （2）Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。
    • （3）seen_txid文件保存的是一个数字，就是最后一个edits_的数字
    • （4）每次Namenode启动的时候都会将fsimage文件读入内存，并从00001开始到seen_txid中记录的数字依次执行每个edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成Namenode启动的时候就将fsimage和edits文件进行了合并。

• 2）oiv查看fsimage文件

  • （1）查看oiv和oev命令

    [123@hadoop102 current]$ hdfs
    oiv                  apply the offline fsimage viewer to an fsimage
    oev                  apply the offline edits viewer to an edits file
    

  • （2）基本语法

    • hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径

  • （3）案例实操

    [123@hadoop102 current]$ pwd
    /opt/module/hadoop-2.7.2/data/tmp/dfs/name/current
    [123@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-2.7.2/fsimage.xml
    [123@hadoop102 current]$ cat /opt/module/hadoop-2.7.2/fsimage.xml
    

将显示的xml文件内容拷贝到eclipse中创建的xml文件中，并格式化。

• 部分显示结果如下。

  • fsimage.xml

  <inode>
    <id>16386</id>
    <type>DIRECTORY</type>
    <name>user</name>
    <mtime>1512722284477</mtime>
    <permission>123:supergroup:rwxr-xr-x</permission>
    <nsquota>-1</nsquota>
    <dsquota>-1</dsquota>
  </inode>
  <inode>
    <id>16387</id>
    <type>DIRECTORY</type>
    <name>123</name>
    <mtime>1512790549080</mtime>
    <permission>123:supergroup:rwxr-xr-x</permission>
    <nsquota>-1</nsquota>
    <dsquota>-1</dsquota>
  </inode>
  <inode>
    <id>16389</id>
    <type>FILE</type>
    <name>wc.input</name>
    <replication>3</replication>
    <mtime>1512722322219</mtime>
    <atime>1512722321610</atime>
    <perferredBlockSize>134217728</perferredBlockSize>
    <permission>123:supergroup:rw-r--r--</permission>
    <blocks>
      <block>
        <id>1073741825</id>
        <genstamp>1001</genstamp>
        <numBytes>59</numBytes>
      </block>
    </blocks>
  </inode>
  

• 3）oev查看edits文件

  • （1）基本语法

    • hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径

  • （2）案例实操

    [123@hadoop102 current]$ hdfs oev -p XML -i 
    edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-2.7.2/edits.xml
    [123@hadoop102 current]$ cat /opt/module/hadoop-2.7.2/edits.xml
    

将显示的xml文件内容拷贝到eclipse中创建的xml文件中，并格式化。

• 显示结果如下：
  • edits.xml

<?xml version="1.0" encoding="UTF-8"?>
<EDITS>
  <EDITS_VERSION>-63</EDITS_VERSION>
  <RECORD>
    <OPCODE>OP_START_LOG_SEGMENT</OPCODE>
    <DATA>
      <TXID>129</TXID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ADD</OPCODE>
    <DATA>
      <TXID>130</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>16407</INODEID>
      <PATH>/hello7.txt</PATH>
      <REPLICATION>2</REPLICATION>
      <MTIME>1512943607866</MTIME>
      <ATIME>1512943607866</ATIME>
      <BLOCKSIZE>134217728</BLOCKSIZE>
      <CLIENT_NAME>DFSClient_NONMAPREDUCE_-1544295051_1</CLIENT_NAME>
      <CLIENT_MACHINE>192.168.1.5</CLIENT_MACHINE>
      <OVERWRITE>true</OVERWRITE>
      <PERMISSION_STATUS>
        <USERNAME>123</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>420</MODE>
      </PERMISSION_STATUS>
      <RPC_CLIENTID>908eafd4-9aec-4288-96f1-e8011d181561</RPC_CLIENTID>
      <RPC_CALLID>0</RPC_CALLID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ALLOCATE_BLOCK_ID</OPCODE>
    <DATA>
      <TXID>131</TXID>
      <BLOCK_ID>1073741839</BLOCK_ID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_SET_GENSTAMP_V2</OPCODE>
    <DATA>
      <TXID>132</TXID>
      <GENSTAMPV2>1016</GENSTAMPV2>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_ADD_BLOCK</OPCODE>
    <DATA>
      <TXID>133</TXID>
      <PATH>/hello7.txt</PATH>
      <BLOCK>
        <BLOCK_ID>1073741839</BLOCK_ID>
        <NUM_BYTES>0</NUM_BYTES>
        <GENSTAMP>1016</GENSTAMP>
      </BLOCK>
      <RPC_CLIENTID></RPC_CLIENTID>
      <RPC_CALLID>-2</RPC_CALLID>
    </DATA>
  </RECORD>
  <RECORD>
    <OPCODE>OP_CLOSE</OPCODE>
    <DATA>
      <TXID>134</TXID>
      <LENGTH>0</LENGTH>
      <INODEID>0</INODEID>
      <PATH>/hello7.txt</PATH>
      <REPLICATION>2</REPLICATION>
      <MTIME>1512943608761</MTIME>
      <ATIME>1512943607866</ATIME>
      <BLOCKSIZE>134217728</BLOCKSIZE>
      <CLIENT_NAME></CLIENT_NAME>
      <CLIENT_MACHINE></CLIENT_MACHINE>
      <OVERWRITE>false</OVERWRITE>
      <BLOCK>
        <BLOCK_ID>1073741839</BLOCK_ID>
        <NUM_BYTES>25</NUM_BYTES>
        <GENSTAMP>1016</GENSTAMP>
      </BLOCK>
      <PERMISSION_STATUS>
        <USERNAME>123</USERNAME>
        <GROUPNAME>supergroup</GROUPNAME>
        <MODE>420</MODE>
      </PERMISSION_STATUS>
    </DATA>
  </RECORD>
</EDITS>

5.3 chkpoint时间设置

（1）通常情况下，SecondaryNameNode每隔一小时执行一次。
[hdfs-default.xml]

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value> <!-- 3600秒 -->
</property>

（2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
  <description>操作动作次数</description>
</property>
<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
  <description> 1分钟检查一次操作次数</description>
</property>

• 通常情况下，SecondaryNameNode每隔一小时执行一次。
• 一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

5.4 SecondaryNameNode目录结构

Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

在/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/current这个目录中查看SecondaryNameNode目录结构。

edits_0000000000000000001-0000000000000000002
fsimage_0000000000000000002
fsimage_0000000000000000002.md5
VERSION

SecondaryNameNode的namesecondary/current目录和主namenode的current目录的布局相同。

好处：在主namenode发生故障时（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。

5.5 Namenode故障处理方法

• Namenode故障处理方法_luck_whai的博客-CSDN博客

5.6 集群安全模式

• 1）概述

  Namenode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，namenode开始监听datanode请求。但是此刻，namenode运行在安全模式，即namenode的文件系统对于客户端来说是只读的。

系统中的数据块的位置并不是由namenode维护的，而是以块列表的形式存储在datanode中。在系统的正常操作期间，namenode会在内存中保留所有块位置的映射信息。在安全模式下，各个datanode会向namenode发送最新的块列表信息，namenode了解到足够多的块位置信息之后，即可高效运行文件系统。
如果满足“最小复本条件”，namenode会在30秒钟之后就退出安全模式。所谓的最小复本条件指的是在整个文件系统中99.9%的块满足最小复本级别（默认值：dfs.replication.min=1）。在启动一个刚刚格式化的HDFS集群时，因为系统中还没有任何块，所以namenode不会进入安全模式。

• 2）基本语法

  • 集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。
  • （1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）
  • （2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）
  • （3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）
  • （4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）

• 3）案例

  • 模拟等待安全模式

    • 1）先进入安全模式

      [123@hadoop102 hadoop-2.7.2]$ bin/hdfs dfsadmin -safemode enter

    • 2）执行下面的脚本

      #!/bin/bash
      bin/hdfs dfsadmin -safemode wait
      bin/hdfs dfs -put ~/hello.txt /root/hello.txt
      

    • 3）再打开一个窗口，执行

      [123@hadoop102 hadoop-2.7.2]$ bin/hdfs dfsadmin -safemode leave

5.7 NameNode多目录配置

• 1）namenode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。

• 2）具体配置如下：

  • （1）在hdfs-site.xml文件中增加如下内容

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
    </property>
    

  • （2）停止集群，删除data和logs中所有数据。

    [123@hadoop102 hadoop-2.7.2]$ rm -rf data/ logs/
    [123@hadoop103 hadoop-2.7.2]$ rm -rf data/ logs/
    [123@hadoop104 hadoop-2.7.2]$ rm -rf data/ logs/
    

  • （3）格式化集群并启动。

    [123@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode –format
    [123@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
    

  • （4）查看结果

    [123@hadoop102 dfs]$ ll
    总用量 12
    drwx------. 3 123 123 4096 12月 11 08:03 data
    drwxrwxr-x. 3 123 123 4096 12月 11 08:03 name1
    drwxrwxr-x. 3 123 123 4096 12月 11 08:03 name2
    

六 DataNode

6.1 DataNode工作机制

1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。

3）心跳是每3秒一次，心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。

4）集群运行中可以安全加入和退出一些机器

6.2 数据完整性

1）当DataNode读取block的时候，它会计算checksum。

2）如果计算后的checksum，与block创建时值不一样，说明block已经损坏。

3）client读取其他DataNode上的block。

4）datanode在其文件创建后周期验证checksum。

6.3 掉线时

限参数设置

• 掉线时限参数设置

  掉线时限参数设置

  6.3 掉线时限参数设置

  datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：

  ​ timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval。

  ​ 而默认的dfs.namenode.heartbeat.recheck-interval 大小为5分钟，dfs.heartbeat.interval默认为3秒。

  ​ 需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

  <property>  
   <name>dfs.namenode.heartbeat.recheck-interval</name> 
   <value>300000</value>
  </property>
  <property>  
   <name>dfs.heartbeat.interval </name> 
   <value>3</value>
  </property>
  

6.6 DataNode多目录配置

• 1）datanode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。

• 2）具体配置如下：

  • hdfs-site.xml

    <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
    </property>
    

待更新…

自己瞎写的公众号与博客

普通二本数据科学与大数据技术专业菜鸟一个，望各位大神多多指导！互相学习进步！

whai的个人博客 whaifree.top 欢迎留言！