使用Java API操作hdfs，上传文件至hdfs

最新推荐文章于 2024-10-10 11:12:41 发布

lyc0424

最新推荐文章于 2024-10-10 11:12:41 发布

阅读量3.9k

点赞数 1

分类专栏： hadoop mr 文章标签： hadoop mr

本文链接：https://blog.csdn.net/lyc0424/article/details/100006546

版权

hadoop 同时被 2 个专栏收录

10 篇文章 0 订阅

订阅专栏

1 篇文章 0 订阅

订阅专栏

/**
     *上传文件，比较底层的写法
     * @throws IOException
     */
    @Test
    public void shanchaung() throws IOException {
        System.setProperty("HADOOP_USER_NAME","hadoop");
        Configuration conf= new Configuration();
        FileSystem fs=FileSystem.get(conf);
        Path dst=new Path("hdfs://master:9000/user/hadoop/aa/qingshu4.txt");
        FSDataOutputStream os=fs.create(dst);
        FileInputStream is=new FileInputStream("c:/qingshu.txt");
        IOUtils.copy(is,os);

    }

/**
     *上传文件，封装好的写法
     * @throws IOException
     */
    @Test
    public void shanchuang2() throws IOException {
        System.setProperty("HADOOP_USER_NAME","hadoop");
        Configuration conf= new Configuration();
        FileSystem fs=FileSystem.get(conf);
        fs.copyFromLocalFile(new Path("c:/qingshu.txt"),new Path("hdfs://master:9000/aaa/bbb/ccc/qingshu2.txt"));
    }