Hadoop2.5.2学习04--HDFS原理及操作

最新推荐文章于 2024-10-11 21:08:21 发布

宝哥大数据

最新推荐文章于 2024-10-11 21:08:21 发布

阅读量834

点赞数 1

分类专栏： # Hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/wuxintdrh/article/details/54671481

版权

Hadoop 专栏收录该内容

33 篇文章 0 订阅

订阅专栏

1、HDFS架构

这里写图片描述

如上图：HDFS是master和slave架构，主要包含NameNode、DataNode， Secondary NameNode三种角色。

NameNode: 管理HDFS的名称空间和数据块映射信息、配置副本策略和处理客户端请求；
Secondar NameNode: 辅助NameNode，分担其工作，定期合并fsimage和fsedits，并推送给NameNode紧急情况下，可以恢复NameNode（但是只是一定时间内的数据）。
DataNode: Slave节点，实际存储数据、执行数据块的读写并汇报，存储信息给NameNode.

Secondary NameNode定期会合并fsimge和image两个文件：

Secondary NodeNode

2、HDFS读操作

这里写图片描述

2.1

1、Client通过调用FileSystem对象的open()方法来打开希望读取的文件，对于HDFS来说，这个对象时分布文件系统的一个实例；
DistributedFileSystem通过使用RPC来调用NameNode以确定文件起始块的位置，同一Block按照重复数会返回多个位置，这些位置按照Hadoop集群拓扑结构排序，距离客户端近的排在前面；
3、前两步会返回一个FSDataInputStream对象，该对象会被封装成DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流，客户端对这个输入流调用read()方法；
4、存储着文件起始块的DataNode地址的DFSInputStream随即连接距离最近的DataNode，通过对数据流反复调用read()方法，可以将数据从DataNode传输到客户端；
5、到达块的末端时，DFSInputStream会关闭与该DataNode的连接，然后寻找下一个块的最佳DataNode，这些操作对客户端来说是透明的，客户端的角度看来只是读一个持续不断的流；
6、一旦客户端完成读取，就对FSDataInputStream调用close()方法关闭文件读取。

2.2、使用的是服务器模式，加入hadoop配置文件

这里写图片描述

2.x、代码如下

package com.chb.test;
import java.io.InputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.mapreduce.Job;

public class FileSystemCat {
    public static void main(String[] args) {
        System.setProperty("HADOOP_USER_NAME", "chb");
        Configuration conf = new Configuration();
        String file =  "/user/chb/input/wc.txt";
        InputStream in = null;
        try {
            FileSystem fs = FileSystem.get(URI.create(file),conf);
            in = fs.open(new Path(file));
            IOUtils.copyBytes(in, System.out, 4096);
        } catch (Exception e) {
            e.printStackTrace();
        }finally {
            IOUtils.closeStream(in);
        }
    }
}