向HDFS 中写数据

1 这个用的比较少，限制比较大，一般情况下不对已经存在的数据和文件进行修改，修改的往往是mapreduce 或者其他阶段产生的临时文件

import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;


public class FilsSystemWrite {

	/**
	 * @param args
	 * Function: 向hdfs 系统中写数据
	 * @throws IOException 
	 */
	public static void main(String[] args) throws IOException {
		// TODO Auto-generated method stub

		Configuration conf = new Configuration();
		FileSystem fsin = FileSystem.get(URI.create(args[0]),conf); 
		FileSystem fsout = FileSystem.get(URI.create(args[1]),conf);
		InputStream in = null;
		FSDataOutputStream out =null;
		try{
			in = fsin.open(new Path(args[0]));
			out= fsout.create(new Path(args[1]), true);
			
			
//			out= fsout.append(new Path(args[1]));
			
			IOUtils.copyBytes(in, out, conf);
//			out.writeUTF("Hello");  集群中不允许使用，不然的话，会产生各种数据相关和不一致以及同步性的问题，在mapreduce 阶段或者其他产生临时数据是可以用append
			
			
		}finally{
			IOUtils.closeStream(in);
			IOUtils.closeStream(out);
		}
	}

}

可以写入新的文件