Java API 操作 HDFS

使用Java API 操作HDFS

本文主要介绍如何使用Hadoop提供的HDFS Java API来操作HDFS分布式文件系统。主要让初学者学会使用eclipse来开发HDFS的一些步骤和简单的一些操作，比如创建目录，上传文件、下载文件等。目的是让初学者更好的理解分布式文件系统，掌握如何操作分布式文件系统HDFS的一些方法和技巧。

步骤如下：

（1）创建Java工程,需要在工程中创建一个lib包
（2）先配置环境：将hadoop依赖包jar导入工程中
hadoop-2.7.3/share/hadoop/common/jar*
hadoop-2.7.3/share/hadoop/common/lib/jar*
hadoop-2.7.3/share/hadoop/hdfs/jar*
hadoop-2.7.3/share/hadoop/hdfs/lib/jar*
（3）将jar添加到classpath中
（4）写代码

package hdfs;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Test;

public class MainHdfs {

	/**
	 *     测试创建目录
	 * @throws Exception
	 */
	@Test
	public void testMkdir() throws Exception {
		// 1、获取一个configuration对象
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://niit110:9000");
		// 2、获取分布式文件系统对象
		FileSystem fs = FileSystem.get(conf);
		// 3、创建一个目录
		fs.mkdirs(new Path("/dir01"));
		// 4、关闭文件系统
		fs.close();
	}

	/**
	 * 上传文件
	 * 
	 * @throws Exception
	 */
	@Test
	public void testUploadFile() throws Exception {	
		// 1、获取一个configuration对象
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://niit110:9000");
		// 2、获取分布式文件系统对象
		FileSystem fs = FileSystem.get(conf);
		// 3、获取本地文件，要上传的文件
		FileInputStream in = new FileInputStream(new File("F:\\MyTools\\mysql-5.6.40-winx64.zip"));
		// 4、获取HDFS上的输出流
		FSDataOutputStream out = fs.create(new Path("/dir01/mysql-5.6.40-winx64.zip"));
		// 5、执行上传操作
		IOUtils.copyBytes(in, out, conf);

		System.out.println("上传成功~");
	}

	/**
	 * 下载文件
	 * 
	 * @throws Exception
	 */
	@Test
	public void testDowloadFile() throws Exception {
		// 1、获取一个configuration对象
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://niit110:9000");
		// 2、获取分布式文件系统对象
		FileSystem fs = FileSystem.get(conf);
		// 3、获取HDFS上的输入流
		FSDataInputStream in = fs.open(new Path("/dir01/mysql-5.6.40-winx64.zip"));
		// 4、获取本地文件，要上传的文件
		FileOutputStream out = new FileOutputStream(new File("F:\\mysql-5.6.40-winx64.zip"));
		// 5、执行上传操作
		IOUtils.copyBytes(in, out, conf);

		System.out.println("下传成功~");
	}
}