Hadoop实例学习(三)JAVA_API的基本操作

最新推荐文章于 2024-04-03 08:28:01 发布

阳光里哭泣的狗

最新推荐文章于 2024-04-03 08:28:01 发布

阅读量3.8k

点赞数 5

分类专栏： hadoop 文章标签： hadoop 大数据 hdfs java linux

本文链接：https://blog.csdn.net/qq_43659234/article/details/109246457

版权

hadoop 专栏收录该内容

22 篇文章 4 订阅

订阅专栏

该博客展示了如何使用Hadoop的FileSystem API进行文件操作，包括从本地上传文件到HDFS，从HDFS下载文件到本地，删除HDFS上的文件夹，以及在HDFS上重命名文件。这些基本操作对于Hadoop数据处理至关重要。

摘要由CSDN通过智能技术生成

文件上传

代码

package hdfsdemo;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @author 
 * @time : 2020/10/23 16:56
 * @File : 文件上传.java
 */
public class 文件上传 {
    @Test
    public void testMkdirs() throws IOException, InterruptedException, URISyntaxException {

        // 1 获取文件系统
        Configuration configuration = new Configuration();
        // 配置在集群上运行
        FileSystem fs = FileSystem.get(URI.create("hdfs://master:9000"), configuration, "root");

        // 2 上传文件
        fs.copyFromLocalFile(new Path("e:/test.txt"), new Path("/test_up.txt"));

        // 3 关闭资源
        fs.close();
    }
}

运行结果
在这里插入图片描述

文件下载

代码

package hdfsdemo;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @author 
 * @time : 2020/10/23 17:15
 * @File : 文件下载.java
 */
public class 文件下载 {
    @Test
    public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{

        // 1 获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(URI.create("hdfs://master:9000"), configuration, "root");

        // 2 执行下载操作

        fs.copyToLocalFile(false, new Path("/test_up.txt"), new Path("e:/test_down.txt"), true);

        // 3 关闭资源
        fs.close();
    }
}

运行结果
在这里插入图片描述

文件夹删除

代码

package hdfsdemo;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
/**
 * @author 
 * @time : 2020/10/23 17:19
 * @File : 文件夹删除.java
 */
public class 文件夹删除 {
    @Test
    public void testDelete() throws IOException, InterruptedException, URISyntaxException{

        // 1 获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(URI.create("hdfs://master:9000"), configuration, "root");

        // 2 执行删除
        fs.delete(new Path("/test/"), true);

        // 3 关闭资源
        fs.close();
    }
}

运行结果
在这里插入图片描述

文件改名

代码

package hdfsdemo;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
/**
 * @author 
 * @time : 2020/10/23 17:22
 * @File : 文件改名.java
 */
public class 文件改名 {
    @Test
    public void testRename() throws IOException, InterruptedException, URISyntaxException{

        // 1 获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(URI.create("hdfs://master:9000"), configuration, "root");

        // 2 修改文件名称
        fs.rename(new Path("/test_up.txt"), new Path("/test.txt"));

        // 3 关闭资源
        fs.close();
    }
}