HDFS的java客户端api的基本使用

先要导入jar包，在package中创建一个文件夹lib，将common和hdfs中的jar包复制过来，并且将相关的lib中的依赖都导入。最后都add to build path。

package hdfs1;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HdfsClientDemo
{
	/**
	 * Configration参数对象的机制
	 * 构造时， 会加载jar包中的xx-default.xml
	 * 再加载用户配置的xx-site.xml，覆盖掉默认参数
	 * 最后从conf.set中会再次覆盖用户配置中的参数
	 */
	
	public static void main(String[] args) throws Exception
	{
		
		Configuration conf = new Configuration();
		
		//指定本客户端上传文件时副本的数量
		conf.set("dfs.replication", "2");
		
		//指定本客户端上传文件时切块的大小
		conf.set("dfs.blocksize", "64M");
		
		//构造一个访问指定hdfs系统的客户端对象。参数1：HDFS的URI；参数2：客户端指定的参数；参数3：客户端用户的身份
		FileSystem fs = FileSystem.get(new URI("hdfs://zzx:9000/"), conf, "root");
		
		
		//上传文件
		fs.copyFromLocalFile(new Path("C:/Users/zzx/Downloads/ChromeSetup.exe"), new Path("/Chrome.exe"));
		
		fs.close();
	}
}

设置了简单的参数，上传了一个小文件。

fs.mkdirs()  //创建文件夹
fs.delete()  //删除文件夹
fs.rename()  //移动文件夹, 路径必须是存在的

递归查看根目录下文件信息

public class Test
{
	public static void main(String[] args) throws Exception
	{
		Configuration conf = new Configuration();
		conf.set("dfs.replication", "2");
		conf.set("dfs.blocksize", "64M");
		
		FileSystem fs = FileSystem.get(new URI("hdfs://zzx:9000"), conf, "root");
		RemoteIterator<LocatedFileStatus> iter = fs.listFiles(new Path("/"), true);
		while (iter.hasNext())
		{
			LocatedFileStatus status = iter.next();
			System.out.println(status.getPath());
			System.out.println(status.getBlockSize());
			System.out.println(status.getReplication());
			System.out.println(status.getLen());
			System.out.println("===================================");
		}
		fs.close();	
	}
}

查看目录下文件信息, 没有递归

public class Test
{
	public static void main(String[] args) throws Exception
	{
		Configuration conf = new Configuration();
		conf.set("dfs.replication", "2");
		conf.set("dfs.blocksize", "64M");
		
		FileSystem fs = FileSystem.get(new URI("hdfs://zzx:9000"), conf, "root");
		FileStatus[] status = fs.listStatus(new Path("/"));
		for (FileStatus f:status)
		{
			System.out.println(f.getPath());
			System.out.println(f.getLen());
			System.out.println(f.getBlockSize());
			System.out.println(f.getReplication());
			System.out.println("-----------------------");
		}
		fs.close();	
	}
}