java实现将hdfs上的文件下载到本地系统上

最新推荐文章于 2024-06-20 12:28:28 发布

杨鑫newlfe

最新推荐文章于 2024-06-20 12:28:28 发布

阅读量1.1w

点赞数 1

分类专栏： Java 大数据挖掘与大数据应用案例

本文链接：https://blog.csdn.net/u012965373/article/details/51765002

版权

大数据挖掘与大数据应用案例同时被 2 个专栏收录

536 篇文章 1680 订阅 ¥9.90 ¥99.00

订阅专栏

Java

427 篇文章 33 订阅

订阅专栏

本文介绍如何使用Java编程接口（API）从Hadoop分布式文件系统（HDFS）下载文件到本地文件系统。内容涵盖HDFS客户端配置、连接HDFS、读取文件并将其保存到本地的步骤。

摘要由CSDN通过智能技术生成

/***
 * 将hdfs上的文件下载到本地系统上1.0版本
 */
package itcast;

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class HDFSDemo {
	public static void main(String[] args) throws IOException, URISyntaxException {
		// TODO Auto-generated method stub
		FileSystem fs = FileSystem.get(new URI("hdfs://itcast01:9000"), new Configuration());
		InputStream in = fs.open(new Path("/Demo"));
		OutputStream out = new FileOutputStream("E://Demo");
		IOUtils.copy

了解本专栏