Day01 客户端操作

最新推荐文章于 2024-07-30 20:50:32 发布
最新推荐文章于 2024-07-30 20:50:32 发布
阅读量87 收藏
点赞数
分类专栏： hadoop 文章标签： java 大数据 hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45842339/article/details/111512402
版权
本文介绍了如何进行Hadoop客户端操作，包括环境准备、API操作和IO流操作。客户端环境涉及设置HADOOP_HOME和Path环境变量，以及创建Maven工程。在API操作中，涵盖了文件的上传、下载、删除、更名和详情查看。IO流操作则讲解了文件的上传、下载和定位读取，以及文件拼接的过程。
摘要由CSDN通过智能技术生成
客户端操作
客户端环境准备
  1. 根据自己电脑的操作系统拷贝对应的编译后的 hadoop jar 包到非中文路径
  2. 配置 HADOOP_HOME 环境变量
  3. 配置 Path 环境变量
  4. 创建一个 Maven 工程 HdfsClientDemo
  5. 导入相应的依赖坐标+日志添加
<dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.2</version>
        </dependency>
        <dependency>
            <groupId>jdk.tools</groupId>
            <artifactId>jdk.tools</artifactId>
            <version>1.8</version>
            <scope>system</scope>
            <systemPath>C:/Program Files/Java/jdk1.8.0_181/lib/tools.jar</systemPath>
        </dependency>
    </dependencies>
  1. 如果 Eclipse/Idea 打印不出日志，需要在项目的 src/main/resources 目录下，新建一个文件，命名为“log4j.properties”，在 文件中填入
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c]- %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c]- %m%n

测试代码

package review.客户端操作.客户端环境准备;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class Test {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        //获取对象
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"), conf, "hdfs");
        /*
        * 1、FileSystem 要选择 org.apache.hadoop.fs包下的
        * 2、URI()传入的参数可以在 etc/hadoop/core-site.xml 文件下找到，不同的人可能有不同的参数
        * 3、“hdfs” 是用户名字
        *
        * */

        //创建新的文件夹
        fs.mkdirs(new Path("/客户端环境准备/测试文件"));

        //关闭资源
        fs.close();
    }
}

在这里插入图片描述
在这里插入图片描述

测试代码效果如上图所示

API操作
文件上传
package review.客户端操作.API操作;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/*
* 文件上传
* */
public class FileUpload {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {

        //获取对象
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"), conf, "hdfs");

        //上传操作
        fs.copyFromLocalFile(new Path("F:/Hello.txt"), new Path("/Test/Hello.txt"));

        //关闭资源
        fs.close();
    }
}

注：一般有两个地址的时候，第一地址代表原文件地址，第二个地址代表目标地址

文件下载
package review.客户端操作.API操作;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class FIleDownload {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        //获取对象
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"), conf, "hdfs");

        //文件下载
        //方式一：
        //fs.copyToLocalFile(new Path("/Test/Hello.txt"), new Path("F:/Hello01.txt"));
        //这种方式下载的时候，会多一个crc文件。crc文件是用来进行文件校验的，校验文件的可靠性

        //方式二：
        fs.copyToLocalFile(false, new Path("/Test/Hello.txt"), new Path("F:/Hello01.txt"), true);
        //这种方式下载数据就不会有crc文件

        //关闭资源
        fs.close();
    }
}

注意区分两种下载方式的区别，具体关于crc文件，可以在文件完整性章节了解
在这里插入图片描述

文件删除
package review.客户端操作.API操作;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class FileDelete {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        //1、获取对象
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"), conf, "hdfs");

        //2、文件删除
        fs.delete(new Path("/Test/Hello.txt"), true);
        /*
        * 第一个参数是需要删除文件的路径
        * 第二个参数是是否需要递归删除
        *   当需要删除的是一个文件时，true或者false均可
        *   当需要删除的是一个文件夹的时候，只能使用true
        * */


        //3、资源关闭
        fs.close();
    }
}

注意删除文件和删除文件夹的区别
在这里插入图片描述

文件更名
package review.客户端操作.API操作;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class FIleChangeName {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        //1、获取对象
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"), conf, "hdfs");

        //2、改名操作
        fs.rename(new Path("/Test"), new Path("/Try"));

        //3、关闭资源
        fs.close();
    }
}

在这里插入图片描述

文件详情查看
package review.客户端操作.API操作;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class FileView {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        //1、获取对象
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"), conf, "hdfs");

        //2、查看文件详情
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
        //使用递归器查看文件名称、权限、长度、块信息
        while (listFiles.hasNext()){
            LocatedFileStatus fileStatus = listFiles.next();

            //文件名称
            System.out.println("文件名称：" + fileStatus.getPath().getName());
            //文件权限
            System.out.println("文件权限：" + fileStatus.getPermission());
            //文件长度
            System.out.println("文件长度：" + fileStatus.getLen());

            //块信息数组
            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
            //递归块信息数组
            for (BlockLocation  blockLocation : blockLocations){
                String[] hosts = blockLocation.getHosts();  //副本存储的主机
                for (String host : hosts){
                    System.out.println("主机：" + host);
                }
            }
            System.out.println("------------------分割线------------------");
        }
        
        //3、资源关闭
        fs.close();
    }
}

在这里插入图片描述

文件和文件夹判断
package review.客户端操作.API操作;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class FileJudge {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        //1、获取对象
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"), conf, "hdfs");

        //2、判断
        FileStatus[] listStatus = fs.listStatus(new Path("/"));
        for (FileStatus listStatu : listStatus){
            if (listStatu.isFile()){
                System.out.println("f:" + listStatu.getPath().getName());
            } else if (listStatu.isDirectory()){
                System.out.println("d:" + listStatu.getPath().getName());
            }
        }

        //3、关闭资源
        fs.close();
    }
}

在这里插入图片描述

IO流操作
文件上传
package review.客户端操作.IO流操作;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class FileUpload {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        //1、获取对象
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"), conf, "hdfs");

        //2、获取输入流
        FileInputStream fis = new FileInputStream(new File("F:/Test/Hello.txt"));

        //3、获取输出流(因为输出流在HDFS上，所以可以使用fs)
        FSDataOutputStream fos = fs.create(new Path("/Try/Hello.txt"));

        //4、流的对拷(要使用 org.apache.hadoop.io包的 IOUtils)
        IOUtils.copyBytes(fis,fos,conf);
        //第三个参数是：缓冲区大小

        //5、关闭资源(因为多了输入输出流，所以要多关闭两个流；先关输出流，再管输入流)
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
        fs.close();
    }
}

在这里插入图片描述

文件下载
package review.客户端操作.IO流操作;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class FileDownload {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        //1、获取对象
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"), conf, "hdfs");

        //2、获取输入流(因为数据在HDFS上，所以使用fs对象获取)
        FSDataInputStream fis = fs.open(new Path("/Try/Hello.txt"));

        //3、获取输出流
        FileOutputStream fos = new FileOutputStream(new File("F:/Test/Hello02.txt"));

        //4、流的对拷
        IOUtils.copyBytes(fis, fos, conf);

        //5、关闭资源
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
        fs.close();
    }
}

在这里插入图片描述

定位文件读取

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 下载第一块：
package review.客户端操作.IO流操作;
/*
* 存在多个Block文件的时候，单独下载某一个
* */

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

//单独下载第一个
public class LocationRead1 {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        //1、获取对象
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"), conf, "hdfs");

        //2、获取输入流
        FSDataInputStream fis = fs.open(new Path("/B5.zip"));

        //3、获取输出流(只拷贝128M)
        FileOutputStream fos = new FileOutputStream(new File("F:/Test/B5.zip.block1"));

        //4、流的对拷
        //IOUtils.copyBytes(fis, fos ,conf);    //这样是将整个文件下载下来

        //使用传统方法下载Block0的数据
        byte[] bytes = new byte[1024];
        for (int i = 0; i < 1024 * 128; i++) {
            fis.read(bytes);
            fos.write(bytes);
        }

        //5、关闭资源
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
        fs.close();
    }
}

在这里插入图片描述

  • 下载第二块
package review.客户端操作.IO流操作;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class LocationRead2 {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        //1、获取对象
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"), conf, "hdfs");

        //2、获取输入流
        FSDataInputStream fis = fs.open(new Path("/B5.zip"));

        //3、设置指定读取起点
        fis.seek(1024 * 1024 * 128);

        //4、获取输出流
        FileOutputStream fos = new FileOutputStream(new File("F:/Test/B5.zip.Block2"));

        //5、流的对拷
        byte[] bytes = new byte[1024];
        for (int i = 0; i < 1024 * 128; i++) {
            fis.read(bytes);
            fos.write(bytes);
        }

        //6、关闭资源
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
        fs.close();


    }
}

在这里插入图片描述

  • 定位下载第三块
package review.客户端操作.IO流操作;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class LocationRead3 {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        //1、获取对象
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://node1:9000"), conf, "hdfs");

        //2、获取输入流
        FSDataInputStream fis = fs.open(new Path("/B5.zip"));

        //3、设置指定读取起点
        fis.seek(1024 * 1024 * 128 * 2);

        //4、获取输入流
        FileOutputStream fos = new FileOutputStream(new File("F:/Test/B5.zip.Block3"));

        //5、流的对拷
        IOUtils.copyBytes(fis, fos, conf);

        //6、关闭资源
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
        fs.close();
    }
}

在这里插入图片描述

文件拼接
  1. 在下载下来的文件目录中，打开cmd
  2. 输入
type 后一块 >> 前一块

在这里插入图片描述

  1. 将拼接后的文件改成原文件的格式
    在这里插入图片描述
苏豆
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
day01-SpringCloud01
12-13
本文将围绕“day01-SpringCloud01”这一主题，详细阐述Spring Cloud的基础概念、核心组件以及如何进行初步的实践。 一、Spring Cloud概述 Spring Cloud基于Spring Boot，为开发者提供了在分布式系统（如配置管理、...
CRC_xsf.txt
05-02
CRC校验, 冗余多项式为0x11021
Hadoop中的CRC数据校验文件
weixin_34185320的博客
01-26 349
Hadoop系统为了保证数据的一致性，会对文件生成相应的校验文件，并在读写的时候进行校验，确保数据的准确性。 比如我们遇到的这个Case： 执行的命令： hadoop jar dw-hadoop-2010_7_23.jar jobDriver -files tb_steps_url_path_dim.txt  multisteps_output 2011-01-25 出错日志的提示： ...
kerberos客户端与服务端搭建操作
weixin_40496191的博客
04-09 1675
文章目录一、关键字概念二、服务端搭建三、客户端搭建 一、关键字概念 Principal：Principal是用来表示参加认证实体，相当于用户名，用来来表示一个client或server唯一的身份。Principal是由三个部分组成：名字（name），实例（instance，可选，一般是所需密钥的服务器的主机名或ip），REALM（域）。格式是：name/instance@REALM name：可以是任意的字符串，比如说可能是操作系统下的用户名等。 instance：定义了用户在不同的role下使
day01作业
weixin_58161345的博客
04-17 2193
接口测试用例
cgb2111-day01
cgblpx的博客
12-27 9241
文章目录一,标题二,标题 一,标题 二,标题
笔记day01.docx
09-10
2. 游戏开发：C++在游戏客户端开发中占据重要地位。 3. 虚拟现实仿真：如数字地球、数字城市等领域，需要学习图形学。 4. 数字图像处理：图像处理软件开发，需要了解数字图像处理和模式识别技术。 【C++源文件命名...
day01笔记.rar
10-11
本"day01笔记.rar"压缩包包含了第一天学习乐优商城项目开发的相关资料，是Spring Cloud乐优商城19天系列教程的组成部分，配合了详细的笔记，帮助学习者逐步掌握该项目的构建过程。 在Spring Cloud框架下，乐优商城...
oracle_day01教案1
08-08
Oracle数据库是全球广泛使用的大型关系...通过"Oracle_day01"的学习，初学者将能掌握Oracle的基础操作，为更深入的数据库管理与开发打下基础。在实际操作中，还需要注意数据库的安全性、性能优化和故障恢复等高级主题。
redis_day01.zip
05-03
本教程“redis_day01”将引导您逐步了解 Redis 的基础知识，包括下载、安装、基本命令的使用以及数据类型的讲解，同时还将展示如何在 Linux 和 Windows 操作系统中进行配置和操作。以下是关于 Redis 的详细知识点： ...
java springboot 集成 阿里通义千问
qq_25987725的博客
07-25 392
一、在阿里云https://www.aliyun.com官网直接搜索“通义千问”，点击“开通DashScope”进行服务激活。四、在config目录添加配置 TongYiAiConfiguration.java。三、在yml中配置中配置key。二、加入Maven依赖。
使用hutool工具判断字符串是否全部是字母(包括大小写)，java判断字符串是否全部是字母(包括大小写)
qq_43700885的博客
07-29 444
1.导入hutool的maven依赖。2.复制一下代码执行。
java判断邮箱地址是否正确，使用hutool工具判断邮箱地址是否正确
qq_43700885的博客
07-29 243
1.导入hutool的maven依赖。2.直接复制一下代码运行。
Swagger使用Map接受参数时，页面如何显示具体参数及说
a1058926697的博客
07-26 616
后端使用Map接受参数，要求在swagger页面上显示具体的参数名称、类型及说明。当Map接受参数数量少时，可以使用Swagger自带的注解。自定义注解 @ApiGlobalModel。编写处理注解对应的插件。
花几千上万学习Java，真没必要！（三十五）
最新发布
wehpd的博客
07-30 270
集合之Map
Java的@DateTimeFormat注解与@JsonFormat注解的使用对比
訾博（ZiBo）的博客
07-27 736
在Spring和Jackson框架中，日期和时间格式化是一个常见需求。注解主要用于Spring的表单绑定，而注解则用于Jackson的JSON序列化和反序列化。了解这两个注解的使用场景和方法，可以帮助开发者更高效地处理日期和时间。和是处理日期和时间格式化的两个重要注解。主要用于Spring MVC的请求参数绑定，而主要用于Jackson的JSON序列化和反序列化。了解它们的使用场景和功能，可以帮助开发者更高效地处理日期和时间格式化需求。通过本文的介绍，希望读者能够更清晰地理解和。
Java修炼 2024.7.26 0:24
2301_80011650的博客
07-26 466
问题：编写一个方法，找出一个数组中的众数（出现次数超过数组长度一半的元素）。例如，输入 [2, 2, 1, 1, 2]，输出 2。编写一个方法，找出一个整数数组中的第二大元素。例如，输入 [3, 5, 1, 8, 7]，输出 7。例如，输入 5，输出 5。问题：编写一个方法，将给定的字符串逆转。问题：使用数组实现栈，并提供基本操作（push、pop、peek、isEmpty）。问题：实现一个单向链表，并提供基本的操作（添加、删除、查找元素）。问题：编写一个方法来查找一个给定字符串的所有子串。
Java代码基础算法练习-数的特性-2024.07.25
Sakurapaid的博客
07-25 417
小A喜欢两种性质都成立的数字，小B喜欢至少符合一种性质的数字，小C喜欢不符合这两种性质的 数字。给出一个数字，请输出三个人是否喜欢这个数字。如果喜欢输出1，否则输出0，用空格分隔。输入数字 num，先定义三个整型代表三个人的喜欢与否，先默认设为 0。之后判断num对于性质1、2的条件，分别用 boolen 类型标识。对于每个整型进行判断，是否改为 1 代表喜欢。性质2：大于4且不大于12;
Redis入门：店铺营业状态设置与操作指南
在Java中操作Redis，通常会使用Jedis、Lettuce等客户端库。Jedis是较早的Redis客户端，提供了丰富的API来执行命令，如设置(key, value)、获取(key)、删除(key)等。对于店铺营业状态的更新，可以通过Jedis的set命令...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值