hdfs java api 示例_hadoop学习之HDFS（2.8）：hdfs的javaAPI使用及示例

安装好hadoop后，可以在命令行启动客户端，通过命令行来操作hdfs，如：

$ bin/hadoop fs -ls / //查看根目录下的内容$ bin/hadoop fs -mkdir /user //在根目录下创建user文件夹$ bin/hadoop fs -put /root/words.txt /user/words.txt //将本地文件上传到hdfs上。

对于实际开发，hadoop也提供了一套完善的，关于hdfs操作的javaAPI，下面简要介绍：

hadoop提供的jar包在:path_to/hadoop/share/hadoop下，里面有很多目录，包括公共jar包common，hdfs的jar包hdfs，mr的jar包mapreduce。

那么，在操作hdfs时，我们就要导入common包和hdfs包。

1，导入common文件夹下的hadoop-common-2.7.2.jar，同时导入common/lib下的所有jar包(因为可能存在依赖关系)。

2，导入hdfs文件夹下的hadoop-hdfs-2.7.2.jar，同时导入hdfs/lib下的所有jar包(同样因为可能存在依赖关系)。

下面列出常用操作的java代码：

package com.jimmy.hdfs;

import java.io.IOException;

import java.util.Iterator;

import java.util.Map.Entry;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.LocatedFileStatus;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.fs.RemoteIterator;

import org.junit.Before;

import org.junit.Test;

public class HdfsClientDemo {

Configuration conf = null;

FileSystem fs = null;

@Before

public void init() throws Exception{

conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://node1:9000");

fs = FileSystem.get(conf);

}

/**

* 测试上传

* @throws Exception

*/

@Test

public void testUpload() throws Exception{

fs.copyFromLocalFile(new Path("E:/hadoopTestData/words2.txt"), new Path("/user/root/input_wordcount/"));

fs.close();

}

/**

* 测试打印conf参数列表

*/

@Test

public void testConf(){

Iterator> iterator = conf.iterator();

while (iterator.hasNext()) {

Entry next = iterator.next();

System.out.println(next.getKey()+" : "+next.getValue());

}

}

/**

* 测试创建文件夹

* @throws Exception

* @throws

*/

@Test

public void testMKdir() throws Exception{

boolean mkdirs = fs.mkdirs(new Path("/user/root/test"));

System.out.println(mkdirs);

}

/**

* 测试删除文件/文件夹

* @throws Exception

* @throws

*/

@Test

public void testDelete() throws Exception{

boolean deleteOnExit = fs.deleteOnExit(new Path("/user/root/input_wordcount/words3"));

System.out.println(deleteOnExit);

}

/**

* 测试递归查询指定目录下所有子文件夹中的文件

* @throws IOException

* @throws IllegalArgumentException

* @throws

*/

@Test

public void testLS() throws Exception {

RemoteIterator listFiles = fs.listFiles(new Path("/"), true);

while(listFiles.hasNext()){

LocatedFileStatus next = listFiles.next();

System.out.println("name:"+next.getPath().getName());

System.out.println("path:"+next.getPath());

System.out.println("blcSize: "+next.getBlockSize());

System.out.println("owner: "+next.getOwner());

System.out.println("----------------");

}

}

/**

* 测试显示一个路径下的内容

*/

@Test

public void testLS2() throws Exception{

FileStatus[] listStatus = fs.listStatus(new Path("/"));

for(FileStatus fileStatus:listStatus){

System.out.println(fileStatus.getPath().getName());

System.out.println(fileStatus.isFile()?"file":"dir");

}

}

}