1 这个用的比较少,限制比较大,一般情况下不对已经存在的数据和文件进行修改,修改的往往是mapreduce 或者其他阶段产生的临时文件
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
public class FilsSystemWrite {
/**
* @param args
* Function: 向hdfs 系统中写数据
* @throws IOException
*/
public static void main(String[] args) throws IOException {
// TODO Auto-generated method stub
Configuration conf = new Configuration();
FileSystem fsin = FileSystem.get(URI.create(args[0]),conf);
FileSystem fsout = FileSystem.get(URI.create(args[1]),conf);
InputStream in = null;
FSDataOutputStream out =null;
try{
in = fsin.open(new Path(args[0]));
out= fsout.create(new Path(args[1]), true);
// out= fsout.append(new Path(args[1]));
IOUtils.copyBytes(in, out, conf);
// out.writeUTF("Hello"); 集群中不允许使用,不然的话,会产生各种数据相关和不一致以及同步性的问题,在mapreduce 阶段或者其他产生临时数据是可以用append
}finally{
IOUtils.closeStream(in);
IOUtils.closeStream(out);
}
}
}
可以写入新的文件