hadoop--hdfs基础功能实现

package hadoop;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.commons.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Before;
import org.junit.Test;

public class HdfsUtil {
	FileSystem fs = null;
	
	@Before
	public void init() throws IOException, InterruptedException, URISyntaxException{
		//创建配置文件对象  用来读取classpath下的配置文件
		Configuration conf = new Configuration();
		//由于没有导入配置文件，此处使用set方法直接设置这个参数
		conf.set("fs.dafaultFS", "hdfs://192.168.245.129:9000/");
		//获取一个具体文件系统的客户端的操作实例对象，指定URL和用户名 ，在非hadoop服务器中必须要指定hadoop服务器的用户名
		fs = FileSystem.get(new URI("hdfs://192.168.245.129:9000/"), conf, "hadoop");
		
		
	}

	//上传文件
	@Test
	public void upload() throws IOException, InterruptedException, URISyntaxException{
		//创建path对象。此处指定的是文件上传后存放的位置
		Path path = new Path("/txt/122.txt");
		//创建文件写入到服务器的流
		FSDataOutputStream os = fs.create(path);
		//创建本地的读取文件的流
		FileInputStream is = new FileInputStream("c:/aaa.txt");
		//调用工具类中的放大将本地的文件写入到远程服务器内
		IOUtils.copy(is, os);
		
		
	}
	//使用fs里面封装的方法进行上传
	@Test
	public void uploadeasy() throws IllegalArgumentException, IOException{
		//前面的参数是本地地址   后面参数是服务器地址     本方法是直接将本地文件复制到服务器里面去
		//         即前面的是来源  后面的是目标
		fs.copyFromLocalFile(new Path("c:/aaa.txt"), new Path("/txt/ghj/132.txt"));
	}
	
	//下载文件
	@Test
	public void download() throws IllegalArgumentException, IOException{
		//fs.copyToLocalFile(new Path("/txt/132.txt"), new Path("f:/aa1.txt"))  使用该方法可能会出现
		//空指针异常，可能原因是Windows上出现兼容性问题，可以用一下方法代替
		// 参数意义： 是否删除源目录   源地址     目标地址   是否使用本地文件系统
		fs.copyToLocalFile(false,new Path("/txt/132.txt"), new Path("f:/aa1.txt"),true);
	}

	//查看文件信息
	@Test
	public void listFile() throws FileNotFoundException, IllegalArgumentException, IOException{
		//该方法只能查看到目录下的文件的名称，目录名称看不到
		                                                //参数  路径    是否循环遍历目录里面的文件
		RemoteIterator<LocatedFileStatus> files = fs.listFiles(new Path("/"), true);
		while (files.hasNext()) {
			LocatedFileStatus file =  files.next();
			Path filePath = file.getPath();
			//通过path来获取到文件的名称
			String name = filePath.getName();
			System.out.println(name);
			
		}
		System.out.println("===========================");
		
		//该方法能看到当前目录下的文件和目录  如果需要查看目录里面的文件，需要自己递归调用
		FileStatus[] listStatus = fs.listStatus(new Path("/"));	
		for (FileStatus status : listStatus) {
			Path path = status.getPath();
			String name = path.getName();
			System.out.println(name);		
		}
	}
	
	//创建目录
	@Test
	public void mkdir() throws IllegalArgumentException, IOException{
		fs.mkdirs(new Path("/bbb/ccc"));
	}
	
	//删除目录或文件
	@Test
	public void delete() throws IllegalArgumentException, IOException{
		//删除指定的目录
		//参数意义：  路径   是否递归删除里面的内容
		fs.delete(new Path("/text"), true);
	}
}

记得需要导入相应的jar包