HDFS的javaAPI使用

工作中做资源服务器时用到了HDFS作为资源底层存储,记录一下使用的API

public class HdfsUtil {
    
    private static final Logger logger = LoggerFactory.getLogger(HdfsUtil.class);

    private HdfsUtil() {
    }
    
    private static FileSystem initFileSystem() {
        Configuration configuration = new Configuration();
        configuration.set("fs.defaultFS", "hdfs:///CDH-01:9990");
        // 这个解决hdfs问题
        configuration.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
        // 这个解决本地file问题
        configuration.set("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName());
        FileSystem fileSystem = null;
        try {
            fileSystem = FileSystem.get(configuration);
        } catch (Exception e) {
            logger.error("init HDFS system exception!", e);
        }
        return fileSystem;
    }
    
    public static void uploadFile(String src, String dst) throws IOException {
        FileSystem fileSystem = initFileSystem();
        fileSystem.mkdirs(new Path(dst));
        fileSystem.moveFromLocalFile(new Path(src), new Path(dst));
        fileSystem.close();
    }
    
    public static void downloadFile(String src, String dst) throws IOException {
        FileSystem fileSystem = initFileSystem();
        // fileSystem.copyToLocalFile(new Path(src), new Path(dst));
        try (InputStream is = fileSystem.open(new Path(src))) {
            IOUtils.copyBytes(is, new FileOutputStream(new File(dst)), 2048, true);
        }
        fileSystem.close();
    }
    
    public static boolean deleteFile(String filePath) throws IOException {
        // recursive:true 即默认使用递归删除
        return initFileSystem().delete(new Path(filePath), true);
    }
    
    private static boolean makeDir(String dirs) throws IOException {
        return initFileSystem().mkdirs(new Path(dirs));
    }
    
    public static boolean renameDir(String src, String dst) throws IOException {
        return initFileSystem().rename(new Path(src), new Path(dst));
    }
}

使用的依赖包如下:

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.6.0</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.6.0</version>
</dependency>

有几点需要注意:

• 建议把HADOOP的core-site.xml文件放到代码工程中的resources目录中,这样Configuration类在初始化的时候会默认读取该文件中的配置,如fs.defaultFS参数
• FileSystem每次使用完都需要关闭,下次使用时仍需要初始化一个新的
• downloadFile()方法中的copyToLocalFile()方法尝试后发现不可行,后采用了注释下方的代码解决了问题
• 如果只是用到了HDFS的客户端,不建议引用hadoop完整的依赖包(hadoop-client),实在太大了,只需要按照我上面的引入其中两个依赖包即可
• hadoop客户端依赖版本最好和服务端保持一致,否则容易出现兼容性问题