Java API 实现对分布式文件系统（HDFS)的常用命令操作！

Java API 实现对分布式文件系统（HDFS)的常用命令操作！

运行环境

创建maven工程进行的java代码编写，需要引入hadoop-client依赖，这里我还引入junit的依赖进行测试，将这两个依赖加入pom.xml可以完成java对hdfs的常用命令的基本操作。需要注意的是在测试之前开启我们的分布式文件系统。

 <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.7.3</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.11</version>
    </dependency>

1.hdfs的目录下的文件及其目录查看

这段代码相当于命令 hdfs dfs -ls <hdfs路径> 查看文件及文件夹信息

public class HDFSClient {
    Configuration conf =new Configuration();
    FileSystem fs;
    @Before
    public  void getConf() throws IOException {
        conf.set("fs.defaultFS","hdfs://XGan01:9000");
        fs = FileSystem.get(conf);
    }
      @Test // hdfs dfs -ls <hdfs路径> 查看文件及文件夹信息
    public void lsFileAndDir() throws IOException {
        FileStatus [] fileStatuses =fs.listStatus(new Path("/input"));
        String text="文件";
        for (FileStatus fstatus:fileStatuses){
            if(fstatus.isDirectory()) text="目录";
            System.out.println(text+"------>"+fstatus.getPath()+",---filename-->"+fstatus.getPath().getName());

        }
    }

}

2.hdfs的目录创建

这段代码相当于命令hdfs dfs -mkdir /dirname,这里用已经存在的目录测试哈

 @Test //hdfs dfs -mkdir /dirname
    public  void mkdir() throws IOException {
        //1,指定目录名
        String dirName="dir02";
        //2，创建Boolean变量，通过变量的变化，查看是否已经存在目录，flag=false表示目录存在
        boolean flag=true;
        //3,获取目录下的文件及其目录信息
        FileStatus [] fileStatuses =fs.listStatus(new Path(""/HDFSClientDir/"));
        //4，判断目录是否存在
        for (FileStatus fstatus:fileStatuses){
            if (fstatus.isDirectory()&&dirName.equals(fstatus.getPath().getName().toString())){
                System.out.println("目录存在无法创建");
                flag=false;
            }
        }
         //5，创建目录，flag=false则不执行创建目录
        if (flag){
            fs.mkdirs(new Path("/HDFSClientDir"+dirName));
            fs.close();
            System.out.println("创建目录成功！");
        }

    }

存在目录

运行结果

3.hdfs的目录删除or文件删除

这段代码相当于命令hdfs dfs -rm -r <hdfs路径>

 @Test //hdfs dfs -rm -r <hdfs路径>
    public void deletedirOrFile() throws IOException {
        //如果指定的是目录则删除目录，如果指定是文件只会删除文件不会删除文件所在的目录
        Path path =new Path("/HDFSClientDir03/pachong.txt");
        fs.delete(path,true);
        System.out.println("删除指定目录成功！");
    }

4.hdfs文件上传，本地到hdfs

这段代码相当于命令hdfs dfs -put <上传文件的路径及其名字> <存放在hdfs的路径>

 @Test //hdfs dfs -put <上传文件的路径及其名字> <存放在hdfs的路径>
    public void uploadToHDFS() throws IOException {
        Path local =new Path("D:/StudyDemo/IDEA/TestDir/pachong.txt");
        Path remoteHDFS =new Path("/HDFSClientDir03");
        fs.copyFromLocalFile(local,remoteHDFS);
        System.out.println("上传成功！");
    }

5.hdfs文件下载，hdfs到本地

这段代码相当于命令hdfs dfs -get <存放在hdfs的文件路径> <下载到本地路径>

@Test //hdfs dfs -get <存放在hdfs的文件路径> <下载到本地路径>
    public  void  hdfsDownloadToLocal() throws IOException {
        Path local =new Path("D:/StudyDemo/IDEA/TestDir/download");
        Path remoteHDFS =new Path("/HDFSClientDir/pachong.txt");
        fs.copyToLocalFile(remoteHDFS,local);
        System.out.println("下载成功！");
    }

6.将本地的数据剪切到hdfs

这段代码相当于命令hadoop dfs - moveFromLocal <上传文件的路径及其名字> <存放在hdfs的路径>

 @Test
    public void moveFromLocal() throws IOException {
        fs.moveFromLocalFile(new Path("D:/StudyDemo/IDEA/TestDir/pachong.txt"),new Path("/HDFSClientDir/dir01"));
        System.out.println("从本地剪切到hdfs成功！");
    }

执行命令前
本地

hdfs

执行命令后

本地

hdfs

7.将hdfs上的数据剪切到本地

这段代码相当于命令hadoop dfs - moveToLocal <存放在hdfs的文件路径> <下载到本地路径>

@Test
    public void moveToLocal() throws IOException {
        fs.moveToLocalFile(new Path("/HDFSClientDir/dir01/pachong.txt"),new Path("D:/StudyDemo/IDEA/TestDir/"));
        System.out.println("从hdfs剪切到本地成功！");
    }

到此简单的几个常用命令用java api实现完成！