HDFS原理深入理解

1、hdfs 概述

数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。

是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。

通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。

容错。即使系统中有某些节点宕机，整体来说系统仍然可以持续运作而不会有数据损失【通过副本机制实现】。 分布式文件管理系统很多，hdfs只是其中一种，不合适小文件。

2、hdfs 体系结构

1）NameNode

NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。

文件包括：

fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。

edits:操作日志文件，namenode启动后一些新增元信息日志。（默认时间为1h，默认edits文件大小为64M）

checkpoint合并：

将上一个版本的fsimage+最新的edits操作文件=最新的fsimage

2）Secondary NameNode

帮助namenode管理当前hdfs

        1.Secondary通知namenode切换edits文件

        2.Secondary从namenode获得上一版fsimage和最新的edits

        3.Secondary将fsimage载入内存，然后开始合并edits

        4.Secondary将新的fsimage发会给namenode

3）DataNode

提供真实文件数据的存储服务。

文件块（block）：最基本的存储单位。HDFS默认Block大小是128MB， 不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间

Replication,多复本,默认是三个。

3、hdfs java调用

FileSystem

fileSysterm是使用java代码操作hdfs的api接口

        文件操作

                create 写文件

                open 读取文件

                delete 删除文件

        目录操作

                mkdirs 创建目录

                delete 删除文件或目录

                listStatus 列出目录的内容（获取多个文件）

                getFileStatus 显示文件系统的目录和文件的元数据信息（获取单个文件）

                getFileBlockLocations 显示文件存储位置

4、RPC和HDFS调用

​
/**
 * Java代码操作hadoop
 * Java在Windows中，Hadoop在Linux中
 * 相当于网络编程（RPC模式）
 */

public class HadoopAPI {
    FileSystem fs;
    //连接
    @Before
    public void inti() throws Exception{
        //hadoop配置文件 自动获取hadoop-hdfs的配置文件
        Configuration conf = new Configuration();
        conf.set("dfs.replication","1");
        URI uri = new URI("hdfs://master:9000");
        fs= FileSystem.get(uri, conf);
    }
    //创建目录
    @Test
    public void mkdir() throws Exception{
        fs.mkdirs(new Path("/mk"));
    }
    //删除目录或文件
    //true表示迭代删除
    @Test
    public void delete() throws  Exception{
        fs.delete(new Path("/student.txt"),false);
    }
    @Test
    public void list() throws Exception{
        FileStatus[] fs = this.fs.listStatus(new Path("/"));
        for (FileStatus f : fs) {
            System.out.println(f);
            System.out.println(f.getLen());
            System.out.println(f.getBlockSize());
            System.out.println(f.getPath());
            System.out.println(f.getReplication());
        }
    }
    //读取文件
    @Test
    public void load() throws Exception{
        FSDataInputStream open = fs.open(new Path("/student.txt"));
        BufferedReader br = new BufferedReader(new InputStreamReader(open));
        String line;
        while((line=br.readLine())!=null){
            System.out.println(line);
        }
        br.close();
        open.close();
    }
    //写文件
    @Test
    public void create() throws Exception{
        FSDataOutputStream create = fs.create(new Path("/test.txt"));
        BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(create));
        bw.write("你好！");
        bw.newLine();
        bw.write("世界！");
        bw.newLine();
        bw.close();
        create.close();
    }
    //上传
    @Test
    public void copyFromLocal() throws  Exception{
        Path hdfs =new Path("/");
        Path local =new Path("D:\\BigData\\ideaProjects\\bd13\\data\\student.txt");
        fs.copyFromLocalFile(local,hdfs);
    }
    //下载
    @Test
    public void copyToLocal() throws Exception{
        Path hdfs=new Path("/test.txt");
        Path local=new Path("D:\\BigData\\ideaProjects\\bd13\\data");
       fs.copyToLocalFile(false,hdfs,local,true);
    }
}

​

5、hdfs文件读写流程分析

6、HA和故障转移

1）ZooKeeper去中心化架构（即无主节点）

package com.shujia.zK;

import org.apache.zookeeper.*;
import org.junit.Before;
import org.junit.Test;

public class DemoZKAPIWatcher {
    ZooKeeper zk;
    @Before
    public void init() throws Exception{
        zk = new ZooKeeper("master:2181,node1:2181,node2:2181",3000,null);
    }
    @Test
    public void create() throws Exception{
        zk.create("/test","test".getBytes(),//创建节点
                ZooDefs.Ids.OPEN_ACL_UNSAFE,//ACL序列验证
                    CreateMode.EPHEMERAL);//节点类型（临时节点）
        //加上死循环 就相当于永久性节点了
        while(true){}
    }
    //参数有两个 第一个是节点路径 第二个是监听
    //把监听与节点绑定
    @Test
    public void children() throws Exception{
        zk.getChildren("/test", new Watcher() {
            //回调函数
            //触发的前提
            public void process(WatchedEvent watchedEvent) {
                System.out.println("当前节点不存在");
            }
        });
    }
}

 

2）HA故障转移原理

 HDFS的HA，指的是在一个集群中存在两个NameNode，分别运行在独立的物理节点上。在任何时间点，只有一个NameNodes是处于Active状态，另一种是在Standby状态。 Active NameNode负责所有的客户端的操作，而Standby NameNode用来同步Active NameNode的状态信息，以提供快速的故障恢复能力。

为了保证Active NN与Standby NN节点状态同步，即元数据保持一致。除了DataNode需要向两个NN发送block位置信息外，还构建了一组独立的守护进程”JournalNodes”,用来同步Edits信息。当Active NN执行任何有关命名空间的修改，它需要持久化到一半以上的JournalNodes上。而Standby NN负责观察JNs的变化，读取从Active NN发送过来的Edits信息，并更新自己内部的命名空间。一旦ActiveNN遇到错误，Standby NN需要保证从JNs中读出了全部的Edits，然后切换成Active状态。

7、HDFS常见问题

1）集群启动失败

        查看日志

2）hdfs文件无法操作 一般是因为处于安全模式下

        离开安全模式：hdfs dfsadmin -safemode leave

        进入安全模式：hdfs dfsadmin -safemode enter

        查看安全模式：hdfs dfsadmin -safemode get