工作中做资源服务器时用到了HDFS作为资源底层存储,记录一下使用的API
public class HdfsUtil {
private static final Logger logger = LoggerFactory.getLogger(HdfsUtil.class);
private HdfsUtil() {
}
private static FileSystem initFileSystem() {
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs:///CDH-01:9990");
// 这个解决hdfs问题
configuration.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
// 这个解决本地file问题
configuration.set("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName());
FileSystem fileSystem = null;
try {
fileSystem = FileSystem.get(configuration);
} catch (Exception e) {
logger.error("init HDFS system exception!", e);
}
return fileSystem;
}
public static void uploadFile(String src, String dst) throws IOException {
FileSystem fileSystem = initFileSystem();
fileSystem.mkdirs(new Path(dst));
fileSystem.moveFromLocalFile(new Path(src), new Path(dst));
fileSystem.close();
}
public static void downloadFile(String src, String dst) throws IOException {
FileSystem fileSystem = initFileSystem();
// fileSystem.copyToLocalFile(new Path(src), new Path(dst));
try (InputStream is = fileSystem.open(new Path(src))) {
IOUtils.copyBytes(is, new FileOutputStream(new File(dst)), 2048, true);
}
fileSystem.close();
}
public static boolean deleteFile(String filePath) throws IOException {
// recursive:true 即默认使用递归删除
return initFileSystem().delete(new Path(filePath), true);
}
private static boolean makeDir(String dirs) throws IOException {
return initFileSystem().mkdirs(new Path(dirs));
}
public static boolean renameDir(String src, String dst) throws IOException {
return initFileSystem().rename(new Path(src), new Path(dst));
}
}
使用的依赖包如下:
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.6.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.0</version>
</dependency>
有几点需要注意:
- 建议把HADOOP的core-site.xml文件放到代码工程中的resources目录中,这样Configuration类在初始化的时候会默认读取该文件中的配置,如fs.defaultFS参数
- FileSystem每次使用完都需要关闭,下次使用时仍需要初始化一个新的
- downloadFile()方法中的copyToLocalFile()方法尝试后发现不可行,后采用了注释下方的代码解决了问题
- 如果只是用到了HDFS的客户端,不建议引用hadoop完整的依赖包(hadoop-client),实在太大了,只需要按照我上面的引入其中两个依赖包即可
- hadoop客户端依赖版本最好和服务端保持一致,否则容易出现兼容性问题