向HDFS输出文件

最新推荐文章于 2023-11-14 09:27:52 发布

LegendaryHe

最新推荐文章于 2023-11-14 09:27:52 发布

阅读量628

点赞数

分类专栏： HDFS OutputStream 文章标签： HDFS OutputStream

本文链接：https://blog.csdn.net/legendaryhe/article/details/76818932

版权

HDFS 同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

OutputStream

1 篇文章 0 订阅

订阅专栏

本文介绍了如何向HDFS（Hadoop Distributed File System）输出文件。通过设置基础URL和目标路径，利用FileSystem类的get方法获取文件系统实例，然后进行文件操作。在使用OutputStream时需要注意，如果文件不存在，需要先关闭打开的文件流，再进行append操作，以避免错误。

摘要由CSDN通过智能技术生成

private static final String BASE_URL = "hdfs://10.15.0.208:8020";

String writePath = "/tmp/test.txt";

String finalUrl = BASE_URL+writePath;

FileSystem fs = FileSystem.get(URI.create(finalUrl),conf);

//要追加的文件流，inpath为文件
//InputStream in = new BufferedInputStream(new FileInputStream(finalUrl));
fs.isDirectory(new Path(finalUrl));
fs.isFile(new Path(finalUrl));
if( !fs.isDirectory(new Path(finalUrl))&&!fs.isFile(new Path(finalUrl)))
{
System.out.println(finalUrl+"不存在于文件系统中");
}else
{
System.out.println(finalUrl+"已存在");
}

OutputStream out = fs.append(new Path(finalUrl));

out.write("testWrite".getBytes());
out.write("test".getBytes());
out.write("Write".getBytes());
//IOUtils.copyBytes(in, out, 4096, true);
OutputStream pw = fs.create(new Path(finalUrl),false);
pw.write("hello testaaaaaaaaaaaaa".getBytes());
pw.write("bbbsss".getBytes());

System.out.println("写入成功");
pw.flush();

pw.close();

//如果文件不存在，create文件后要先把打开的文件流关闭，在进行append操作，否则会出错。