大数据组会

最新推荐文章于 2025-01-25 22:28:53 发布

L-JankinLee

最新推荐文章于 2025-01-25 22:28:53 发布

阅读量59

点赞数

文章标签：大数据 hadoop hdfs

本文链接：https://blog.csdn.net/m0_62671297/article/details/130045919

版权

一、idea编写HDFS的API

package com.atguigu.hdfs;

import org.apache.hadoop.fs.*;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import javax.security.auth.login.Configuration;
import java.io.IOException;
import java.lang.reflect.Array;
import java.net.URI;
import java.net.URISyntaxException;
import java.nio.file.FileSystem;
import java.util.Arrays;

/*
 *
 *客户端代码常用套路
 * 1.获取一个客户端对象
 * 2.执行相关操作命令
 * 3.关闭资源
 * HDFS zookeeper
 *
 * */
public class HDFSClient {

    @Before
    public void init throws()

    {
        private FileSystem fs;

        //连接的集群nn地址
        new URI(str:"hdfs://hadoop102:8020").var;        //Uri uri = new Uri(str :"hdfs://hadoop102:8020");

        //创建一个配置文件
        Configuration configuration = new Configuration();
        configuration。set("hdfs-replication", "2");               //副本数为2，在代码中的配置优先级最高
        //用户
        String user = "JankinLee";

        //1.获取到了客户端对象
        fs = FileSystem.get(uri, configuration, user);
    }

    //创建目录
    @Test
    public void testmkdir() throws URISyntaxException, IOException, InterruptedException {

        //2.创建一个文件夹
        fs.mkdirs(new Path(pathString:"/xiyou/huaguoshan"));

    }

    /*
     * 参数优先级（逐渐递增）：hdfs-default.xml => hdfs-site.xml => 在项目资源目录下的配置文件 => 代码中的配置优先级最高
     *
     *
     *
     * */

    //上传
    @Test
    public void testPut() throws IOException {
        //参数解读；参数一：表示删除原数据；参数二：是否允许覆盖 ；参数三：原数据路径；参数四：目的地路径
        fs.copyFromLocalFile(delSrc:false, src:false, new Path(pathing :"D:\\sunwukong.txt") ,new Path(pathing:
        "hdfs://hadoop102/xiyou/huaguosghan") );
    }

    @Test
    public void testGet() throws IOException {
        //参数解读：参数一：HDFS原文件是否删除，参数二：原文件的路径HDFS，参数三：目标地址的路径Win，参数四：是否开启一个本地校验
        fs.copyToLocalFile(src:false, new Path(pathString:"hdfs://hadoop102/xiyou/huaguoshan"),new Path(pathString:
        "D:\\"),useRawLocalFileSystem:
        false);
    }

    @Test
    public void testRm() throws IOException {
        //参数解读：参数一：要删除的路径，参数二：是否递归删除，
        //删除文件
        fs.delete(new Path(pathString:"/jdk-linux.tar.gz"),recursive:
        false);
        //删除空目录
        fs.delete(new Path(pathString:"/xiyou"),recursive:
        false);

        //删除非空目录
        fs.delete(new Path(pathString:"/jinguo"),recursive:
        true)    //如果不设置递归删除，那么就是如果在这个路径下的目录内容不为空，那么就会报错
    }

    //文件的更名和移动
    @Test
    public void testmv() {
        //参数解读：参数一：原文件路径，参数二：目标文件路径
        //对文件名称的修改
        fs.rename(new Path(pathString:"/input/word.txt"),new Path(pathString:"/input/ss.txt"));

        //对文件的移动和更名,执行程序，文件已经被剪切走了
        fs.rename(new Path(pathString:"/input/ss.txt"),new Path(pathString:"/cls.txt"));

        //目录的更名
        fs.rename(new Path(pathString:"/input"),new Path(pathString:"/output"));


    }

    //获取所有文件详细信息
    @Test
    public void fileDetail() {
        //参数解读：参数一：查看哪一个路径下的文件信息，参数二：是否递归
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path(pathString:"/") ,true);

        //遍历迭代器，即遍历文件
        while (listFiles.hasNext()) {
            LocatedFileStatus fileStatus = listFiles.next();

            System.out.println("==========" + fileStatus.getPath() + "=========");
            System.out.println(fileStatus.getPermission());     //权限的执行类型
            System.out.println(fileStatus.getOwner());      //权限者
            System.out.println(fileStatus.getGroup());      //所有者所在组
            System.out.println(fileStatus.getLen());        //存在的文件字节长度
            System.out.println(fileStatus.getModificationTime());       //上次修改的时间
            System.out.println(fileStatus.getReplication());        //副本数
            System.out.println(fileStatus.getBlockSize());      //块大小
            System.out.println(fileStatus.getPath().getName());     //文件名


            //获取块信息
            BlockLocation[] blockLocations = fileStatus.getBlockLocations();            //.var之后发现这是一个数组，那么就取出数组中的信息来
            System.out.println(Arrays.toString(blockLocations));        //打印数组中的信息就用Arrays.toString，不然打印出来的是地址

        }

    }


    //判断是文件夹还是文件
    @Test
    public void testFile() {
        //参数解读：参数一：遍历的路径

        FileStatus listStatus = fs.listStatus(new Path("/"));

        for (FileStatus status : listStatus) {
            if (status.isFile()) {
                System.out.println("这是一个文件" + status.getPath().getName());
            } else {
                System.out.println("这是一个路径或者目录" + status.getPath().getName());
            }

        }
    }


    @After
    public void close() throws IOException {
        //3.关闭资源
        fs.close();
    }
}