HDFS简单使用

介绍

HDFS作为Hadoop生态系统下一个一个分布式文件系统，具有高容错性特点，适合部署在廉价的机器上，提供了高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS是一个主从结构(namenode和datanode)，其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的DataNode管理存储的数据。其可靠性由数据复制来保证，namenode节点负责处理所有复制相关的决策，它周期性的接受集群中datanode结点的心跳和块报告。一个心跳的到达表示这个datanode结点能够正常工作，一个块报告包括该数据结点上所有块的列表。一个文件的存储，也是由namenode决策分块，和存放到哪个datanode。

Java API

本实验使用Maven构建项目，pom文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>hadoop</groupId>
    <artifactId>hdfs</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>
        <!--HDFS-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.6.5</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.5</version>
        </dependency>
    </dependencies>

</project>

HDFS Java API的使用：

package hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;

import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;

public class TestHdfs {
    private FileSystem fileSystem;

    //连接HDFS
    @Before
    public void init() throws Exception{
        URI uri = new URI("hdfs://192.168.80.131:9000");
        Configuration configuration = new Configuration();
        fileSystem = FileSystem.get(uri,configuration,"hadoop");
        if(fileSystem != null){
            System.out.println("连接成功");
        }
    }

    //上传文件
    @Test
    public void upload() throws  Exception{
        Path srcPath = new Path("G:/123.txt");
        Path dstPath = new Path("hdfs/123.txt");
        fileSystem.copyFromLocalFile(false,srcPath,dstPath);
        fileSystem.close();
        System.out.println("上传成功");
    }

    //下载文件
    @Test
    public void download() throws Exception{
        InputStream in = fileSystem.open(new Path("hdfs/阿里巴巴Java开发手册终极版v1.3.0.pdf"));
        OutputStream out = new FileOutputStream("G:/1.pdf");
        IOUtils.copyBytes(in,out,4096,true);
        System.out.println("下载成功");
    }

    /*
     * 删除文件
     */
    @Test
    public void delete() throws Exception{
        Path path = new Path("hdfs/hadoop.txt");
        fileSystem.delete(path,true);
        System.out.println("*************************************");
        System.out.println("删除成功！");
    }

    /*
     * 浏览文件
     */
    @Test
    public void look() throws Exception{
        Path path = new Path("/core-site.xml");
        FSDataInputStream fsDataInputStream = fileSystem.open(path);
        System.out.println("*************************************");
        System.out.println("浏览文件：");
        int c;
        while((c = fsDataInputStream.read()) != -1){
            System.out.print((char)c);
        }
        fsDataInputStream.close();
    }

    /*
     * 查看目录
     */
    @Test
    public void Catalog() throws Exception{
        Path path = new Path("hdfs");
        FileStatus fileStatus = fileSystem.getFileStatus(path);
        System.out.println("*************************************");
        System.out.println("文件根目录: "+fileStatus.getPath());
        System.out.println("这文件目录为：");
        for(FileStatus fs : fileSystem.listStatus(path)){
            System.out.println(fs.getPath());
        }
    }
}

总结

本文简要介绍了HDFS的基本架构和其内部的原理，之后介绍了HDFS的Java API的使用，如何文件的上传，下载，浏览。