hadoop学习之HDFS API-2-通过编写java接口操作hdfs

1. 创建文件夹

工程的test包中java->com.imooc.bigdata->hadoop.hdfs.HDFSApp
注意包：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.net.URI;

/**
 * 使用JAVA API操作HDFS文件系统
 * 1)创建Configuration
 * 2）获取FileSystem
 * 3）HDFS API操作
 */
public class HDFSApp {

    public static void main(String[] args) throws Exception {
        Configuration configuration = new Configuration();
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop000:8020"),configuration,"root");
        Path path = new Path("/hdfsapi/test");
        boolean result = fileSystem.mkdirs(path);
        System.out.println(result);
    }
}

提示错误：

解决：
C:\WINDOWS\system32\drivers\etc\hosts中

改为：

测试：


——————————————————————————————
使用Junit改写：

public class HDFSApp {

    public static final String HDFS_PATH = "hdfs://hadoop000:8020";
    FileSystem fileSystem = null;
    Configuration configuration = null;

    @Before
    public void setUp() throws Exception {
        System.out.println("---------setUp----------");
        configuration = new Configuration();
        fileSystem = FileSystem.get(new URI(HDFS_PATH),configuration,"root");
    }

    @After
    public void tearDown(){
        configuration = null;
        fileSystem = null;
        System.out.println("-------tearDown----------");
    }

    @Test
    //创建HDFS文件夹
    public void mkdir() throws Exception {
        fileSystem.mkdirs(new Path("/hdfsapi/test2"));
    }

}

测试：

2.查看文件内容

添加方法：

    @Test
    public void text() throws IOException {
        FSDataInputStream in = fileSystem.open(new Path("/README.txt"));
        IOUtils.copyBytes(in,System.out,1024);
    }

包选：
import org.apache.hadoop.io.IOUtils;

测试：

3.创建文件并写入内容

    @Test
    public void create() throws IOException {
        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/a.txt"));
        out.writeUTF("hello pk");
        out.flush();
        out.close();
    }

执行后：

问题：

副本系数问题

http://192.168.61.129:50070/explorer.html#/

现在的副本系数为3

因为设置了一个空的Configuration对象，所以会自动加载依赖包中hdfs-default.xml中的配置
设置：
configuration.set(“dfs.replication”,“1”);

此时：

编码问题

查看idea编码：

修改为：

暂定：
应当是Windows系统和Centos系统方面的问题

4.文件重命名

    @Test
    public void rename() throws IOException {
        Path oldPath = new Path("/hdfsapi/test/a.txt");
        Path newPath = new Path("/hdfsapi/test/aaaaa.txt");
        boolean result = fileSystem.rename(oldPath, newPath);
        System.out.println(result);
    }

测试结果：

5.拷贝本地文件到HDFS文件系统

    @Test
    public void copyFromLocalFile() throws IOException {
        Path src = new Path("C:\\Users\\DELL\\Desktop\\新建文本文档 (2).txt");
        Path dst = new Path("/hdfsapi/test/");
        fileSystem.copyFromLocalFile(src,dst);
    }

测试：
虽然出现了转义的问题，但是加上’'单引号就没问题了呢~

6.带进度的上传大文件（拷贝本地大文件到HDFS文件系统）

使用函数：

import java.io.*;

    @Test
    public void copyFromBigLocalFile() throws IOException {

        InputStream in = new BufferedInputStream(new FileInputStream(new File("G:\\jdk-8u231-linux-x64.tar.gz")));

        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/jdk.tgz"), new Progressable() {
            @Override
            public void progress() {
                System.out.print(".");
            }
        });

        IOUtils.copyBytes(in,out,4096);
    }

测试结果：

7.从HDFS拷贝文件到本地系统（下载）

    @Test
    public void copyToLocalFile() throws IOException {
        Path src = new Path("/README.txt");
        Path dst = new Path("C:\\Users\\DELL\\Desktop\\");
        fileSystem.copyToLocalFile(false,src,dst,true);
    }

出现空指针错误：

解决：
使用

fileSystem.copyToLocalFile(false,src,dst,true);

8.列出文件夹下的所有内容

    @Test
    public void listFiles() throws IOException {
        FileStatus[] statuses = fileSystem.listStatus(new Path("/hdfsapi/test"));

        for(FileStatus file : statuses){
            String isDir = file.isDirectory() ? "文件夹" : "文件";
            String permission = file.getPermission().toString();
            short replication = file.getReplication();
            long len = file.getLen();
            String path = file.getPath().toString();

            System.out.println(isDir + "\t" + permission + "\t"
                    + replication + "\t" + len + "\t" + path
            );
        }
    }

测试：

9.递归查看目标文件夹下的所有文件

对应的HDFS命令为：

代码：

    public void listFilesRecursive() throws IOException {
        RemoteIterator<LocatedFileStatus> files = fileSystem.listFiles(new Path("/"), true);

        while(files.hasNext()){
            LocatedFileStatus file = files.next();
            String isDir = file.isDirectory() ? "文件夹" : "文件";
            String permission = file.getPermission().toString();
            short replication = file.getReplication();
            long len = file.getLen();
            String path = file.getPath().toString();

            System.out.println(isDir + "\t" + permission + "\t"
                    + replication + "\t" + len + "\t" + path
            );
        }
    }

测试：

10.查看文件块信息

    @Test
    public void getFileBlockLocations() throws IOException {
        FileStatus fileStatus = fileSystem.getFileStatus(new Path("/hdfsapi/test/jdk.tgz"));
        BlockLocation[] blocks = fileSystem.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());

        for(BlockLocation block : blocks){
            for (String name : block.getNames()){
                System.out.println(name + " : " + block.getOffset() + " : " + block.getLength() + " : " + block.getHosts());
            }
        }
    }

测试：

11.递归删除文件

    @Test
    public void delete() throws IOException {
        boolean result = fileSystem.delete(new Path("/hdfsapi/test/jdk.tgz"));
        System.out.println(result);
    }

测试：