【小白视角】大数据基础实践(三)HDFS的简单基本操作_使用客户端节点执行hdfs dfs -put文件上传至hdfs很慢(1)

已于 2024-04-13 17:14:28 修改
阅读量925 收藏 7
点赞数 7
分类专栏： 程序员 文章标签： 大数据 hdfs 深度优先
于 2024-04-13 17:14:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84166965/article/details/137719902
版权 
hdfs dfs -put 源路径 目的路径

在主机里创建文件
在这里插入图片描述
然后上传到HDFS中
在这里插入图片描述
文件内容查看

hdfs dfs -cat 文件路径

在这里插入图片描述

文件下载

hdfs dfs -get 源文件地址 下载到的路径

在这里插入图片描述
查看是否下载成功
在这里插入图片描述

文件的移动

hdfs dfs -mv 文件路径 目的目录

在这里插入图片描述
文件的复制

hdfs dfs -cp 文件路径 目的目录

在这里插入图片描述在这里插入图片描述

文件的创建

hdfs dfs -touch 文件路径

在这里插入图片描述

文件的追加

hdfs dfs -appendToFile 追加的内容文件路径 被追加的文件路径

在本地创建一个文件
在这里插入图片描述
对其进行添加操作
在这里插入图片描述

文件查看

hdfs dfs -text 文件路径

在这里插入图片描述

文件删除

hdfs dfs -rm 文件路径

在这里插入图片描述

4. 利用web界面管理HDFS

访问url：http://localhost:9870
就可以看到管理页面的！应该是可以的！我没试过。
附上老师的截图
在这里插入图片描述

5. 使用JavaApi进行管理HDFS

5.1 导包并测试

Idea导入hadoop jar包
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
找到文件路径安装即可。

在这里插入图片描述
添加指定的jar文件
在这里插入图片描述
看到这里的jar包即可成功了。

在这里插入图片描述
测试代码

在这里插入图片描述
可以运行就行了！

5.2 题目
第一题

编写Java代码实现功能：判断指定文件在HDFS中是否存在，若不存在，则创建该文件，若存在，则打开文件进行内容追加；

在本地创建一个文件夹用于追加使用。
在这里插入图片描述

import java.io.\*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSmkdir {
    public static void appendToFile(Configuration conf, String localFilePath, String remoteFilePath) {
        Path remotePath = new Path(remoteFilePath); //传入hdfs文件路径
        try( 
        FileSystem fs = FileSystem.get(conf); 
        FileInputStream in = new FileInputStream(localFilePath);){
        //new一个文件的输入流的对象，并加入需要add的文件路径
            FSDataOutputStream out = fs.append(remotePath);  // 将hdfs中的文件读入
            byte[] data = new byte[1024]; 
            /\*
 从输出流中读取一定数量的字节，并将其存储在缓冲区数组data中。返回：
 读入缓冲区的总字节数；
 如果因为已经到达流末尾而不再有数据可用，则返回 -1。
 \*/
            int read = -1;
            while((read = in.read(data)) > 0) {
                out.write(data,0,read); // 添加hdfs文件之中
            }
            out.close(); // 关闭hdfs的文件
        }catch (IOException e) {
            e.printStackTrace();
        }
    }
    public static void main(String[] args) {
        new Mkdir(); //主函数new一个Mkdir对象
    }
}

class Mkdir{
    public Mkdir(){
        String filename = "/user/hadoop/input/hdfs-site.xml";  //需要添加本地内容的文件
        Configuration conf = new Configuration(); // new一个配置文件的对象
        conf.set("dfs.client.block.write.replace-datanode-on-failure.enable", "true");
     /\*
 在进行pipeline写数据（上传数据的方式）时，
 如果DN或者磁盘故障，客户端将尝试移除失败的DN，然后写到剩下的磁盘。
 一个结果是，pipeline中的DN减少了。这个特性是添加新的DN到pipeline。
 这是一个站点范围的选项。
 \*/
        conf.set("dfs.client.block.write.replace-datanode-on-failure.policy","NEVER");
    /\*
 此属性仅在dfs.client.block.write.replace-datanode-on-failure.enable设置为true时有效。
 ALWAYS: 总是添加新的DN
 NEVER: 从不添加新的DN
 DEFAULT: 设r是副本数，n是要写的DN数。在r>=3并且floor(r/2)>=n或者r>n(前提是文件是 hflushed/appended)时添加新的DN。
 \*/
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
    /\*
 默认文件系统的名称。URI形式。uri's的scheme需要由(fs.SCHEME.impl)指定文件系统实现类。 uri's的authority部分用来指定host, port等。默认是本地文件系统。
 HA方式，这里设置服务名，例如：hdfs://111111
 HDFS的客户端访问HDFS需要此参数。
 伪分布是这样的，如果是全分布的话，应该是你的映射名字不是localhost了。应该。 
 \*/
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        try {
            FileSystem fs = FileSystem.get(conf);
            Path path = new Path(filename);
            if(fs.exists(path)) {
                System.out.println("File \""+ filename +"\" Exist!");
                // 文件存在，追加内容
                try {
                    String localFilePath = "/home/zqc/add.txt"; 
                    //需要追加的文件内容的路径
                    HDFSmkdir.appendToFile(conf, localFilePath, filename);
                    System.out.println("File Written Successfully!");
                }catch(Exception e) {
                    e.printStackTrace();
                }
            }
            else {
                System.out.println("File \""+ filename +"\" Not Exist!");
                fs.createNewFile(path); 	// 文件不存在，创建文件
                System.out.println("File Created Successfully!");
            }
        }catch(IOException e)
        {
            e.printStackTrace();
        }
    }
}

编译器终端显示没有错误。在这里插入图片描述
然后在shell中cat是否添加
在这里插入图片描述
成功！追加成功！

第二题

编写Java代码实现功能：通过用户实时输入内容或本地文本内容完成HDFS文件写入操作，用户输入“exit”结束写入；

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.FileInputStream;
import java.io.IOException;
import java.util.Scanner;

public class HDFSFileWritten {
    public static void appendToFile(Configuration conf, String localFilePath, String remoteFilePath) {
        Path remotePath = new Path(remoteFilePath);
        try (FileSystem fs = FileSystem.get(conf);
             FileInputStream in = new FileInputStream(localFilePath);) {
            FSDataOutputStream out = fs.append(remotePath);
            byte[] data = new byte[1024];
            int read = -1;
            while ((read = in.read(data)) > 0) {
                out.write(data, 0, read);
            }
            out.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    public static void main(String[] args) {
        new HDFSWrite();
    }
}

class HDFSWrite {
    public HDFSWrite() {
        System.out.println("Please Choose The Way To Write");
        System.out.println("1.Written On Real Time");
        System.out.println("2.Written By Local File");
        Scanner str = new Scanner(System.in);
        String s = str.nextLine();
        String filename = "/user/hadoop/input/hdfs-site.xml";
        Path writtenpath = new Path(filename);
        Configuration conf = new Configuration();
        //配置信息都和上面的一样的！
        conf.set("dfs.client.block.write.replace-datanode-on-failure.enable", "true");
        conf.set("dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER");
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
        if (s.equals("1")) { //如果选择了1的话，就是自己输入
            System.out.println("Please Input The Content You Want To Append：");
            Scanner scanner = new Scanner(System.in);
            String string;
            try { //一个死循环
                while (true) {
                    FileSystem fs = FileSystem.get(conf);
                    FSDataOutputStream fsdataoutput = fs.append(writtenpath);
                    string = scanner.nextLine();
                    if (string.equals("exit")) { 	//如果输入是exit就退出
                        System.out.println("APPEND SUCCESSFULLY");
                        break;
                    }
                    try {	// 不然的话就是输入输入文件的内容
                        fsdataoutput.write(string.getBytes());
                        fsdataoutput.flush();
                        fsdataoutput.close();
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        if (s.equals("2")) {  //如果是2的话就直接添加
            try {
                String localFilePath = "/home/zqc/add.txt";
                HDFSFileWritten.appendToFile(conf, localFilePath, filename);
                System.out.println("APPEND SUCCESSFULLY");
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
}

添加成功了。
在这里插入图片描述
本地文件内容为JAVA HADOOP 添加成功。
在这里插入图片描述

第三题

编写Java代码实现功能：读取HDFS上的文件的内容并输出到控制台

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class HDFSReadFile {
    public static void main(String[] args) {
        new ReadFile();
    }
}
class ReadFile {
    public ReadFile() {
        try{
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://localhost:9000");
            conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
            FileSystem fs = FileSystem.get(conf);
            FSDataInputStream file = fs.open(new Path("/user/hadoop/input/hdfs-site.xml"));
            IOUtils.copyBytes(file, System.out, 1024);
            fs.close();
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

在这里插入图片描述

6. 在集群上运行

  1. 导出为jar包
    在这里插入图片描述
  2. 点击这里，然后build

在这里插入图片描述

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
img

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

中…(img-8XJLoYci-1712999591534)]
[外链图片转存中…(img-cd7dBL2E-1712999591534)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-2buxm1Pg-1712999591534)]

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84166965
关注
  • 7
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
6.1 Linux中的权限管理(普通权限)
dizijianga的博客
10-21 244
一.权限的查看及读取 1.权限的查看 ls -l file #查看文件的权限 ls -ld dir #查看目录权限 2.权限的读取 文件的属性被叫做文件的元数据（meta data） 一种元数据用1个byte来记录内容 如图可知， 编号 含义 [1] 文件类型（- 普通文件；d 目录；l 软连接；b 块设备；c字符设备；s socket套接字；p 管道） [2] 用户权限（文件的所有人权限；文件的所有组权限；其他人权限） [3] 系统的selinux开启 [4] 对于文件
Hadoop之hdfs操作
qq_52150032的博客
05-15 3430
HDFS的常见Shell操作 直接在命令行中输入hdfs dfs，可以查看dfs后面可以跟的所有参数 注意：这里面的[]表示是可选项，<>表示是必填项 [root@bigdata01 hadoop-3.3.2]# hdfs dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> .
HDFS常用的文件操作命令
火麒马
12-31 1220
HDFS常用的文件操作命令 文件操作 查看文件命令 ls 命令 # 查看hdfs根目录 hdfs dfs -ls / # 查看hdfs其它目录(/user/zhang) hdfs dfs -ls /user/zhang du 命令 hdfs dfs -du /user/zhang 查看里面文件大小(# 将字节自动转化成单位) hdfs dfs -du -h /user/...
hadoop学习（三）
qq_41253208的博客
03-05 876
Hadoop分布式文件系统（Hadoop Distributed File System,HDFS）是Hadoop核心组件之一，如果已经安装了Hadoop，其中就已经包含了HDFS组件，不需要另外安装。 介绍Linux操作系统中关于HDFS文件操作的常用Shell命令，利用Web界面查看和管理Hadoop文件系统，以及利用Hadoop提供的Java API进行基本的文件操作。 本教程介绍Linux...
【hdfs 常用命令】数据put到hdfs
赖德发的博客
05-23 2万+
# 下载 hdfs dfs -getmerge /user/hive/warehouse/tempon.db/tl_text_center /home/admin/t1_subject.txt # 建外部表 drop table tempon.text_anti_brush_info create external table if not exists tempon.text_an...
大数据 实验2 HDFS基础操作实验.pdf
01-09
列表文件目录可以使用hdfs dfs -ls路径命令，创建文件夹可以使用hdfs dfs -mkdir文件夹名称命令，上传文件可以使用hdfs dfs -put源路径目标存放路径命令，下载文件可以使用hdfs dfs -get HDFS文件路径本地存放路径...
2大数据技术之Hadoop（HDFS文件系统）.doc
08-11
Hadoop HDFS（Hadoop Distributed File System）是Apache Hadoop项目的核心组件之一，是一个分布式...理解并熟练掌握HDFS的概念、组成、操作以及其内在的工作原理，对于在大数据环境中进行有效数据管理和分析至关重要。
实验2模板-HDFS环境搭建及基本命令的使用
05-04
本实验旨在帮助学生掌握Hadoop分布式文件系统（HDFS）的搭建过程，以及在HDFS环境中执行基本的文件操作命令。通过实践，学生将熟悉伪分布式环境的配置，学习如何创建、上传、查看、下载和删除HDFS上的文件和目录，...
ucz-dfs:用Rust编写的分布式文件系统
05-23
在正在运行的容器中，您可以： 列出datanodes shell report ls shell ls / mkdir shell mkdir /foo/bar/baz 上载一个文件shell put build.rs /build.rs 下载文件shell get /build.rs ./temp 自己旋转节点：旋转一个...
尚硅谷大数据技术之Hadoop（HDFS)1
08-04
1. `bin/hadoop fs` 或 `bin/hdfs dfs`：这两个命令用于执行HDFS操作，`dfs`是`fs`的实现类。 2. `ls`：列出目录内容。 3. `mkdir`：创建目录。 4. `put`：上传本地文件到HDFS。 5. `get`：从HDFS下载文件到本地。 6...
【小白视角】大数据基础实践(三)HDFS的简单基本操作_使用客户端节点执行hdfs dfs -put文件上传至hdfs很慢
最新发布
2401_84181253的博客
04-08 1145
HDFS（Hadoop Distributed File System）分布式文件系统，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。兼容廉价的硬件设备流数据读写大数据集简单的文件模型强大的跨平台兼容性不适合低延迟数据访问无法高效存储大量小文件不支持多用户写入及任意修改文件。
HDFS基本操作
weixin_45795947的博客
05-03 676
HDFS基本操作
HDFS常用命令
zxr0130的博客
09-05 449
命令格式： #不建议使用 ，这是1.X架构的命令格式 hdfs fs <args> (不建议使用) #建议使用，这是2.X架构的命令格式 同时兼容1.X hdfs dfs <args> 命令参数 所有FS shell命令都将路径URI作为参数。URI格式为scheme://authority/path。对于HDFS，该scheme是hdfs，对于本地FS，该scheme是file。scheme和authority是可选的。如果未指定，则使用配置中指定的默认方案。 选项
HDFS之 put命令权限问题剖析和文件系统常用命令
Jaserok的博客
10-17 2239
由上图可知，root用户会抛权限问题（Permission denied) 把README.txt文件放到hadoop中的/ruozedata文件夹 如何解决 1.切换目录所需的用户 su - hadoop 生产中 2./ruozedata 修改对应的用户和用户组 生产管控不严格 或者 测试学习 2.常用命令 [hadoop@hadoop0...
hdfs命令大全
weixin_30887919的博客
09-28 1921
hdfs常用命令：第一部分：hdfs文件系统命令第一类：文件路径增删改查系列：hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs dfs -stat path 返回指定路径的信息第二类：空间大小查看系列命令：hdfs dfs -du -h ...
第3章 Hadoop---hdfs dfs常用命令的使用
m0_57382185的博客
03-28 4646
HDFS shell常用文件操作命令汇总 hdfs dfs文件操作命令
HDFS命令行
unhurried人生——冕临的博客
09-11 2408
在Linux终端窗口，可以利用Shell命令对Hadoop进行操作。利用这些命令可以完成HDFS中文件的上传、下载、复制、查看文件信息、格式化名称节点等操作。若没有配置Hadoop的系统PATH变量，则需要进入到Hadoop的安装目录下/bin目录中执行。
hadoop hdfs dfs 命令讲解
热门推荐
梁小明的博客
05-23 5万+
hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile  ...  追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入. · hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile · hdfs dfs -appendToFile localfile1 localf
sudo -u hdfs hdfs dfs -put /root/college/accidents.csv hdfs://localhost:8020/crash/ sudo: hdfs: command not found
06-12
这个错误通常是由于您的系统上未安装Hadoop客户端引起的。请确保您正在运行Hadoop集群的节点上安装了Hadoop客户端。 如果您使用的是CDH或Hortonworks等Hadoop发行版，则可以从官方网站上下载相应的Hadoop客户端，并按照官方文档进行安装和配置。 如果您使用的是Apache Hadoop，则需要从Apache官网上下载Hadoop二进制文件，并按照官方文档进行安装和配置。安装完成后，请确保将Hadoop的bin目录添加到PATH环境变量中： ``` export PATH=$PATH:/path/to/hadoop/bin ``` 现在，您可以再次尝试使用以下命令将文件上传到Hadoop集群中： ``` sudo -u hdfs hdfs dfs -put /root/college/accidents.csv hdfs://localhost:8020/crash/ ``` 这应该可以让您成功将文件上传到Hadoop集群中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值