删除HDFS集群中的所有空文件和空目录

最新推荐文章于 2024-08-13 17:25:44 发布

匿名啊啊啊

最新推荐文章于 2024-08-13 17:25:44 发布

阅读量4k

点赞数

分类专栏： HDFS

本文链接：https://blog.csdn.net/qq_41851454/article/details/79829945

版权

本文档介绍了如何连接到HDFS集群，并提供了主程序代码，用于删除集群中的所有空文件和空目录，实现HDFS空间的有效管理。

摘要由CSDN通过智能技术生成

1、连接HDFS：

package api;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;

public class Utils {

    public static FileSystem HDFS() throws Exception{
        
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS","hdfs://potter2:9000");
        System.setProperty("HADOOP_USER_NAME", "potter");
        FileSystem fs = FileSystem.get(conf);
        return fs;
         
         
    }
}

2、主程序代码：

package api;

import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Test;

/**
 * 删除HDFS集群中的所有空文件和空目录
 * @author Administrator
 *
 */
public class Empty {

        @Test
        public void tt() throws Except