HDFS读写文件实例与解析

本文介绍了HDFS在Java环境下进行文件读写的具体步骤和流程,包括客户端如何通过FileSystem与Namenode交互,以及读文件时选择最近的DataNode,写文件时的数据块复制策略等。
摘要由CSDN通过智能技术生成

使用实例:

1.项目结构(引入包hadoop-0.20.2-core.jar和commons-logging.jar)

2.代码

HdfsCommon.java

public class HdfsCommon {
	private Configuration conf;
	private FileSystem fs;
	public HdfsCommon() throws IOException{
		conf=new Configuration();
		fs=FileSystem.get(conf);
	}
	
	/**
	 * 上传文件,
	 * @param localFile 本地路径
	 * @param hdfsPath 格式为hdfs://ip:port/destination
	 * @throws IOException
	 */
	public void upFile(String localFile,String hdfsPath) throws IOException{
		InputStream in=new BufferedInputStream(new FileInputStream(localFile));
		OutputStream out=fs.create(new Path(hdfsPath));
		IOUtils.copyBytes(in, out, conf);
	}
	/**
	 * 附加文件
	 * @param localFile
	 * @param hdfsPath
	 * @throws IOException
	 */
	public void appendFile(String localFile,String h
  • 5
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值