hadoop 将Hdfs中的文件下载到本地

最新推荐文章于 2024-09-10 09:12:13 发布

chengzhuang2879

最新推荐文章于 2024-09-10 09:12:13 发布

阅读量4.4k

点赞数 1

文章标签：大数据操作系统

原文链接：https://my.oschina.net/u/1253737/blog/495095

版权

本文介绍了如何使用Hadoop将HDFS中的文件高效地下载到本地进行处理，适合大数据工作者参考。

摘要由CSDN通过智能技术生成

import java.io.FileOutputStream;
import java.io.OutputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class HdfsFile2Local {

	public static void main(String[] args) throws Exception {

		// 获取读取源文件和目标文件位置参数

		String local = "/usr/local/hadoop/output/a.txt";

		String uri = "hdfs://hadoop1:9000/user/hadoop/usr/test/local2hdfs_part.txt";

		FSDataInputStream in = null;

		OutputStream out = null;

		Configuration conf = new Configuration();

		try {

			// 获取读入文件数据
            FileSystem fs = FileSystem.get(URI.create(uri),conf);
            in =fs.open(new Path(uri));
		

			// 获取目标文件信息


			out = new FileOutputStream(local);

			byte[] buffer = new byte[1024];