java hdfs文件_使用java进行Hadoop文件上传下载和遍历

使用java操作HDFS

需要使用到的jar包

将hadoop的tar.gz包解压，里面的lib下的所有jar包，share/hadoop目录下的common和hdfs文件下的所有jar包

以及Hadoop-common-2.7.7、Hadoop-hdfs-2.7.7、hadoop-client-2.7.7这三个jar包。

常用的操作

1.连接至hdfs

@Test

public void connectHDFS() {

Configuration conf = new Configuration();

conf.set("fs.defaultFS","hdfs://192.168.5.22:9000");

try {

FileSystem fileSystem = FileSystem.get(conf);

FileStatus fileStatus = fileSystem.getFileLinkStatus(new Path("/user"));

System.out.println(fileStatus.isDirectory());

} catch (IOException e) {

// TODO 自动生成的 catch 块

e.printStackTrace();

}

}

2.创建文件夹

@Test

public void mkdir() {

Configuration conf = new Configuration();

conf.set("fs.defaultFS","hdfs://192.168.5.22:9000");

try {

FileSystem fileSystem = FileSystem.get(conf);

boolean mkdirs = fileSystem.mkdirs(new Path("/user/test")); //要创建的文件夹或多级文件夹

System.out.println(mkdirs?"成功":"失败");

} catch (IOException e) {

// TODO 自动生成的 ca