HDFS使用流的方式上传下载

最新推荐文章于 2024-08-08 16:36:06 发布

匿名啊啊啊

最新推荐文章于 2024-08-08 16:36:06 发布

阅读量1.8k

点赞数

分类专栏： HDFS

本文链接：https://blog.csdn.net/qq_41851454/article/details/79829958

版权

本文介绍如何使用Hadoop Distributed File System（HDFS）进行流式上传和下载文件。通过示例代码，详细阐述了如何通过编程接口实现高效的数据交互。

摘要由CSDN通过智能技术生成

主代码：

package api;


import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

/**
 * 使用流的方式上传下载
 * @author potter
 *
 */
public class HDFS_GET_AND_PUT {

    public static void main(String[] args) throws Exception {
        
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://potter2:9000");
        System.setProperty("HADOOP_USER_NAME","potter");
        FileSystem fs = FileSystem.get(conf);
        
        //上传
//        fs.copyFromLocalFile(new Path("D:/aaa.txt"), new Path("/"));
        //下载
//        fs.copyToLocalFile(new Path("/aaa.txt"), new Path("D:/sss.txt"));
        
        /**
         * 使用流的方式上传文件
         */
        //读取本