Hadoop学习第二天

倒也真大概是累了

已于 2022-02-13 11:07:02 修改

阅读量128

点赞数

文章标签： hadoop hdfs big data

于 2022-02-13 11:06:23 首次发布

本文链接：https://blog.csdn.net/m0_66110972/article/details/122905902

版权

一.HDFS NN.SNN.DN工作原理

文章目录

1.HDFS概述

数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。
是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。
通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。
容错。即使系统中有某些节点宕机，整体来说系统仍然可以持续运作而不会有数据损失【通过副本机制实现】。
分布式文件管理系统很多，hdfs只是其中一种，不合适小文件。
在这里插入图片描述

1.Namenode

NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。
文件包括：
fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。
edits:操作日志文件，namenode启动后一些新增元信息日志。
seen_txid:保存最近一次checkpoint的时间
以上这些文件是保存在linux的文件系统中。
hdfs-site.xml的dfs.namenode.name.dir属性

2.Secondary Namenode

在这里插入图片描述

3.Datanode

提供真实文件数据的存储服务。
文件块（block）：最基本的存储单位。对于文件内容而言，一个文件的长度大小是size，那么从文件的０偏移开始，按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称一个Block。2.0以后HDFS默认Block大小是128MB，以一个256MB文件，共有256/128=2个Block.
hdfs-site.xml中dfs.blocksize属性
不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间
Replication。多复本。默认是三个。
hdfs-site.xml的dfs.replication属性

4.HDFS的Trash回收站

和Linux系统(桌面环境)的回收站设计一样，HDFS会为每一个用户创建一个回收站目录：/user/用户名/.Trash/，每一个被用户通过Shell删除的文件/目录，fs.trash.interval是在指在这个回收周期之内，文件实际上是被移动到trash的这个目录下面，而不是马上把数据删除掉。等到回收周期真正到了以后，hdfs才会将数据真正删除。默认的单位是分钟，1440分钟=60*24，刚好是一天。
配置：在每个节点(不仅仅是主节点)上添加配置 core-site.xml,增加如下内容

fs.trash.interval
1440

注意：如果删除的文件过大，超过回收站大小的话会提示删除失败，需要指定参数 -skipTrash

二.HDFS的java api实现

如果要通过Java api实现HDFS ，首先要引入依赖
这里我使用的版本是 2.7.6，有其他版本可以自行替代

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.7.6</version>
    </dependency>

fileSysterm是使用java代码操作hdfs的api接口
先初始化接口和设置
在这里插入图片描述

这里conf.set()里的参数第一个是用于连接hdfs的,第二个参数则是链接所需要填写的主机地址及端口信息

文件操作
create 写文件

 public void writeFile() throws IOException {
        FSDataOutputStream fsDataOutputStream = fs.create(new Path("/input/Demo"));
        BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(fsDataOutputStream));
        bw.write("你好");
        bw.newLine();
        bw.write("层层恐惧");
        bw.newLine();
        bw.flush();
        bw.close();
        fsDataOutputStream.close();

    }

open 读取文件

public void readFile() throws IOException {
        FSDataInputStream fsDataInputStream = fs.open(new Path("/input/zk搭建文档.txt"));
        BufferedReader br = new BufferedReader(new InputStreamReader(fsDataInputStream));
        String line =null;
        while((line=br.readLine())!=null){
            System.out.println(line);
        }
        br.close();
        fsDataInputStream.close();


    }

delete 删除文件
目录操作
mkdirs 创建目录

fs.mkdirs(new Path("/e"));

delete 删除文件或目录

fs.delete(new Path("/input/zk搭建文档.txt"),true);

这里boolean型的参数如果是false，就代表不递归
相当于 rm
fs.delete(new Path("/e"),false);
这里后面boolean型的参数如果是”true"那么就表示递归删除
相当于 rm -r
listStatus 列出目录的内容

copytolocalfile(movetolocalfile) 获取文件或目录

      public void get() throws IOException {
        fs.copyToLocalFile(new Path("/input/Demo"),new Path("data/"));
    }

copyfromlocalfile(movefromlocalfile) 上传文件或目录

上传文件(copy 和 move)
move 会移动文档即执行程序之后本地文件会消失
copy不会移动文档，即复制一份

  public void  put1() throws IOException {
        fs.moveFromLocalFile(new Path("C:\\Users\\xxx\\Desktop\\xxxx.txt"),new Path("/input"));
    }

    public void put2() throws IOException {
        fs.copyFromLocalFile(new Path("C:\\Users\\xxx\\Desktop\\xxxx.txt"),new Path("/input"));
    }

getFileStatus 显示文件系统的目录和文件的元数据信息
getFileBlockLocations 显示文件存储位置

三.HDFS的读写流程

在这里插入图片描述

1.Remote Procedure Call

RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。
RPC采用客户机(client)/服务器(server)模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。
hadoop的整个体系结构就是构建在RPC之上的(见org.apache.hadoop.ipc)。

2.HDFS中的block、packet、chunk

1、Block
这个大家应该知道，文件上传前需要分块，这个块就是block，一般为128MB，当然你可以去改，不顾不推荐。因为块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。它是最大的一个单位。
2、Packet
packet是第二大的单位，它是client端向DataNode，或DataNode的PipLine之间传数据的基本单位，默认64KB。
3、Chunk
chunk是最小的单位，它是client向DataNode，或DataNode的PipLine之间进行数据校验的基本单位，默认512Byte，因为用作校验，故每个chunk需要带有4Byte的校验位。所以实际每个chunk写入packet的大小为516Byte。由此可见真实数据与校验值数据的比值约为128 : 1。
例如，在client端向DataNode传数据的时候，HDFSOutputStream会有一个chunk buff，写满一个chunk后，会计算校验和并写入当前的chunk。之后再把带有校验和的chunk写入packet，当一个packet写满后，packet会进入dataQueue队列，其他的DataNode就是从这个dataQueue获取client端上传的数据并存储的。同时一个DataNode成功存储一个packet后之后会返回一个ack packet，放入ack Queue中。

3.读文件流程分析

在这里插入图片描述

1.首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例
2.DistributedFileSystem通过rpc获得文件的第一个block的locations，同一block按照副本数会返回多个locations，这些locations按照hadoop拓扑结构排序，距离客户端近的排在前面.
3.前两步会返回一个FSDataInputStream对象，该对象会被封装成DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方法，DFSInputStream最会找出离客户端最近的datanode并连接。
4.数据从datanode源源不断的流向客户端。
5.如果第一块的数据读完了，就会关闭指向第一块的datanode连接，接着读取下一块。这些操作对客户端来说是透明的，客户端的角度看来只是读一个持续不断的流。
6.如果第一批block都读完了，DFSInputStream就会去namenode拿下一批blocks的location，然后继续读，如果所有的块都读完，这时就会关闭掉所有的流。
7.如果在读数据的时候，DFSInputStream和datanode的通讯发生异常，就会尝试正在读的block的排第二近的datanode,并且会记录哪个datanode发生错误，剩余的blocks读的时候就会直接跳过该datanode。DFSInputStream也会检查block数据校验和，如果发现一个坏的block,就会先报告到namenode节点，然后DFSInputStream在其他的datanode上读该block的镜像
8.该设计的方向就是客户端直接连接datanode来检索数据并且namenode来负责为每一个block提供最优的datanode，namenode仅仅处理block location的请求，这些信息都加载在namenode的内存中，hdfs通过datanode集群可以承受大量客户端的并发访问。

4.写文件流程分析

1.客户端通过调用DistributedFileSystem的create方法创建新文件
2.DistributedFileSystem通过RPC调用namenode去创建一个没有blocks关联的新文件，创建前，namenode会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，namenode就会记录下新文件，否则就会抛出IO异常.
3.前两步结束后会返回FSDataOutputStream的对象，与读文件的时候相似，FSDataOutputStream被封装成DFSOutputStream.DFSOutputStream可以协调namenode和datanode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet，然后排成队列data quene。
4.DataStreamer会去处理接受data queue，他先问询namenode这个新的block最适合存储的在哪几个datanode里，比如副本数是3，那么就找到3个最适合的datanode，把他们排成一个pipeline.DataStreamer把packet按队列输出到管道的第一个datanode中，第一个datanode又把packet输出到第二个datanode中，以此类推。
5.DFSOutputStream还有一个对列叫ack queue，也是由packet组成，等待datanode的收到响应，当pipeline中的所有datanode都表示已经收到的时候，这时akc queue才会把对应的packet包移除掉。
如果在写的过程中某个datanode发生错误，会采取以下几步：1) pipeline被关闭掉；2)为了防止丢包 ack queue里的packet会同步到data queue里；3)把产生错误的datanode上当前在写但未完成的block删掉；4）block剩下的部分被写到剩下的两个正常的datanode中；5）namenode找到另外的datanode去创建这个块的复制。当然，这些操作对客户端来说是无感知的。
6.客户端完成写数据后调用close方法关闭写入流
7.DataStreamer把剩余得包都刷到pipeline里然后等待ack信息，收到最后一个ack后，通知datanode把文件标示为已完成。