hadoop学习-Hadoop HDFS java客户端操作 基于IO上传下载文件

30 篇文章 0 订阅

hadoop是如何实现把一个文件从hdfs下载到本地或者从本地上传到hdfs
流的操作。
本质-IO流操作
文件上传的操作:通过指定本地文件的输入流,进行数据的读取,然后将读取的数据通过指向hdfs的输出流,将数据写出。
文件的下载操作:通过指定hdfs的输入流,进行数据的读取,然后将读取的数据通过指向本地的输出流,将数据写出。
实现上传的操作(将电脑本地的一个文件上传到hdfs的一个目录中/bigdata下)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

 @Test
    public void testIOUpload() throws IOException {
        //实现上传的操作(将电脑本地的一个文件上传到hdfs的一个目录中)
        FileInputStream in =
                new FileInputStream(new File("E:\\大数据\\Hadoop生态\\1-Hadoop\\1.笔记\\尚硅谷大数据技术之高频面试题8.0.7(1).docx"));
        FSDataOutputStream out = fs.create(new Path("/bigdata/尚硅谷大数据技术之高频面试题8.0.7(1).docx"));
        IOUtils.copyBytes(in,out,conf);
        IOUtils.closeStream(in);
        IOUtils.closeStream(out);
    }

 @Before
    public void init() throws Exception {
        conf.set("dfs.replication","3");
        fs=FileSystem.get(uri,conf,user);
    }
    @After
    public void close() throws Exception {
        fs.close();
    }

在这里插入图片描述
下载文件:
在这里插入图片描述
在这里插入图片描述
将hdfs 中/bigdata/尚硅谷大数据技术之高频面试题8.0.7(1).docx文件下载到本地目录
实现流的对拷:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
查看fs:

在这里插入图片描述
在这里插入图片描述
org.apache.hadoop.hdfs.DistributedFileSystem

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值