记录 实验2

该代码示例展示了如何利用ApacheHadoop的HDFSAPI下载文件到本地。如果本地文件已存在,程序会自动在文件名后添加下划线和数字进行重命名,确保下载过程不会覆盖已有文件。主要涉及的类包括Configuration,FileSystem,Path以及File。
摘要由CSDN通过智能技术生成

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import java.io.*;
public class HDFSApi {
 /**
 * 下载文件到本地
 * 判断本地路径是否已存在,若已存在,则自动进行重命名
 */
 public static void copyToLocal(Configuration conf, String remoteFilePath, String
localFilePath) throws IOException {
 FileSystem fs = FileSystem.get(conf);
 Path remotePath = new Path(remoteFilePath);
 File f = new File(localFilePath);
 /* 如果文件名存在,自动重命名(在文件名后面加上 _0, _1 ...) */
 if (f.exists()) {
 System.out.println(localFilePath + " 已存在.");
 Integer i = 0;
 while (true) {
 f = new File(localFilePath + "_" + i.toString());
 if (!f.exists()) {
 localFilePath = localFilePath + "_" + i.toString();
 break;
 }
 }
 System.out.println("将重新命名为: " + localFilePath);
 }

 // 下载文件到本地
 Path localPath = new Path(localFilePath);
 fs.copyToLocalFile(remotePath, localPath);
 fs.close();
 }

/**
* 主函数
*/
public static void main(String[] args) {
Configuration conf = new Configuration();
 conf.set("fs.default.name","hdfs://localhost:9000");
String localFilePath = "/home/hadoop/text.txt"; // 本地路径
String remoteFilePath = "/user/hadoop/text.txt"; // HDFS 路径

try {
HDFSApi.copyToLocal(conf, remoteFilePath, localFilePath);
System.out.println("下载完成");
} catch (Exception e) {
e.printStackTrace();
}
}
}

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值