HDFS的Shell操作

最新推荐文章于 2024-07-25 09:48:00 发布
最新推荐文章于 2024-07-25 09:48:00 发布
阅读量742 收藏 3
点赞数 1
分类专栏： 11 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Argonaut_/article/details/128313262
版权

HDFS的Shell操作

学习目标

  • 熟悉HDFS Shell常用命令操作
  • 掌握Shell定时采集数据到HDFS

（一）HDFS的Shell介绍

  • Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。
  • 文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。

（二）了解HDFS常用Shell命令

1、三种Shell命令方式

在这里插入图片描述

2、FileSystem Shell文档

https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html
在这里插入图片描述

  • 查看cat命令用法
    在这里插入图片描述

3、常用HDFS的shell命令

在这里插入图片描述
在这里插入图片描述

（三）HDFS常用命令操作实战

  • 启动Hadoop集群
    在这里插入图片描述

1、创建目录

  • 执行命令：hdfs dfs -mkdir /ied
    在这里插入图片描述
  • 利用Hadoop WebUI查看创建的目录
    在这里插入图片描述

2、创建多层目录

  • 执行命令：hdfs dfs -mkdir /luzhou/lzy，会报错，因为/luzhou目录不存在
    在这里插入图片描述
  • 当然，可以先创建/luzhou目录，然后在里面再创建lzy子目录，但是也可以一步到位，需要一个-p参数
  • 执行命令：hdfs dfs -mkdir -p /luzhou/lzy
    在这里插入图片描述
  • 利用Hadoop WebUI查看创建的多层目录
    在这里插入图片描述

3、查看目录

  • 执行命令：hdfs dfs -ls /，查看根目录（可以在任何节点上查看，结果都是一样的）
    在这里插入图片描述
    在这里插入图片描述
  • 执行命令：hdfs dfs -ls /luzhou
    在这里插入图片描述
  • 如果我们要查看根目录里全部的资源，那么要用到地柜参数-R（必须大写）
  • 执行命令：hdfs dfs -ls -R /，递归查看/目录（采用递归算法遍历树结构）
    在这里插入图片描述

4、上传本地文件到HDFS

  • 创建test.txt文件，执行命令：echo “hello hadoop world” > test.txt （>：重定向命令）
    在这里插入图片描述
  • 查看test.txt文件内容
    在这里插入图片描述
  • 上传test.txt文件到HDFS的/ied目录，执行命令：hdfs dfs -put test.txt /ied
    在这里插入图片描述
  • 查看是否上传成功
    在这里插入图片描述
  • 利用Hadoop WebUI界面查看
    在这里插入图片描述
    在这里插入图片描述

5、查看文件内容

  • 执行命令：hdfs dfs -cat /ied/test.txt

在这里插入图片描述

6、下载HDFS文件到本地

  • 先删除本地的test.txt文件
    在这里插入图片描述
  • 下载HDFS文件系统的/ied/test.txt到本地当前目录不改名，执行命令：hdfs dfs -get /ied/test.txt
    在这里插入图片描述
  • 检查是否下载成功
    在这里插入图片描述
  • 可以将HDFS上的文件下载到本地指定位置，并且可以更改文件名
  • 执行命令：hdfs dfs -get /ied/test.txt /home/exam.txt
    在这里插入图片描述
  • 检查是否下载成功
    在这里插入图片描述

7、删除HDFS文件

  • 执行命令：hdfs dfs -rm /ied/test.txt
    在这里插入图片描述
  • 检查是否删除成功
    在这里插入图片描述
  • 使用通配符，可以删除满足一定特征的文件
    在这里插入图片描述

8、删除HDFS目录

  • 执行命令：hdfs dfs -rmdir /luzhou
    在这里插入图片描述
  • 提示-rmdir命令删除不了非空目录。
  • 要递归删除才能删除非空目录：hdfs dfs -rm -r /luzhou（-r：recursive）
    在这里插入图片描述
  • 课堂练习：将/BigData变成一个空目录（删除里面的空子目录Class1和Class2以及文件test.txt）
    在这里插入图片描述
  • 此时，删除空目录/BigData
    在这里插入图片描述

9、移动目录或文件

  • -mv命令兼有移动与改名的双重功能
  • 将/ied目录更名为/ied01，执行命令：hdfs dfs -mv /ied /ied01
    在这里插入图片描述
  • 利用Hadoop WebUI查看是否更名成功
    在这里插入图片描述
  • 将/ied01/exam.txt更名为/ied/test.txt，执行命令：hdfs dfs -mv /ied01/exam.txt
    /ied01/test.txt
    在这里插入图片描述
    在这里插入图片描述

10、文件合并下载

  • 创建sport.txt、music.txt和book.txt并上传
    在这里插入图片描述
  • 在Hadoop WebUI界面查看上传的三个文件，注意文件名是按字典排序了的
    在这里插入图片描述
  • 合并/ied01目录的文件下载到本地当前目录的merger.txt，执行命令：hdfs dfs -getmerge /ied01/*
    merger.txt
    在这里插入图片描述
  • 下面，查看本地的merger.txt，看是不是三个文件合并后的内容
    在这里插入图片描述
  • 由此可见，merger.txt是book.txt、music.txt与sport.txt合并后的结果

11、检查文件信息

  • fsck: file system check —— 文件系统检查
  • 检查/ied01/book.txt文件，执行命令：hdfs fsck /ied01/book.txt -files -blocks locations -racks
    在这里插入图片描述
  • 我们知道HDFS里一个文件块是128MB，上传一个大于128MB的文件，hadoop-3.3.4.tar.gz大约663.24MB
  • 128 M B × 5 = 640 M B < 663.24 M B < 768 M B = 128 M B × 6 128
    MB\times 5 = 640MB \lt 663.24MB \lt 768MB = 128 MB\times
    6128MB×5=640MB<663.24MB<768MB=128MB×6
    ，HDFS会将hadoop-3.3.4.tar.gz分割成6块。
    在这里插入图片描述
  • 执行命令：hdfs dfs -put /opt/hadoop-3.3.4.tar.gz
    /ied01，将hadoop压缩包上传到HDFS的/ied01目录
    在这里插入图片描述
  • 查看HDFS上hadoop-3.3.4.tar.gz文件信息，执行命令：hdfs fsck
    /ied01/hadoop-3.3.4.tar.gz -files -locations -racks
    在这里插入图片描述
  • 利用Hadoop WebUI来查看文件块信息更加方便，总共有6个文件块：Block0、Block1、Block2、Block3、Block4、Block5
    在这里插入图片描述
  • 第1个文件块信息
    在这里插入图片描述
  • 第6个文件块信息
    在这里插入图片描述

12、创建时间戳文件

  • 在/ied01目录里创建一个文件sunshine.txt，执行命令：hdfs dfs -touchz /ied01/sunshine.txt
    在这里插入图片描述
  • 创建的是一个空文件，大小为0字节
    在这里插入图片描述
  • 这种空文件，一般用作标识文件，也可叫做时间戳文件，再次在/ied01目录下创建sunshine.txt同名文件
    在这里插入图片描述
  • 说明：如果touchz命令的路径指定的文件不存在，那就创建一个空文件；如果指定的文件存在，那就改变该文件的时间戳。

13、复制文件或目录

  • cp: copy - 拷贝或复制
  • 同名复制文件

将/ied01/music.txt复制到/ied02里，执行命令：hdfs dfs -cp /ied01/music.txt /ied02
在这里插入图片描述

  • 查看拷贝生成的文件
    在这里插入图片描述
    改名复制文件

  • 将/ied01/book.txt复制到/ied02目录，改名为read.txt，执行命令：hdfs dfs -cp /ied01/book.txt /ied02/read.txt
    在这里插入图片描述

  • 查看拷贝后的文件内容
    在这里插入图片描述

  • 源文件依然存在
    在这里插入图片描述
    复制目录

  • 将/ied01目录复制到/ied03目录，执行命令：hdfs dfs -cp /ied01 /ied03
    在这里插入图片描述

  • 查看拷贝后的/ied03目录，其内容跟/ied01完全相同
    在这里插入图片描述

14、查看文件大小

  • du: disk usage

  • 执行命令：hdfs dfs -du /ied01/book.txt
    在这里插入图片描述

15、上传文件

  • -copyFromLocal类似于-put，执行命令：hdfs dfs -copyFromLocal merger.txt /ied02
    在这里插入图片描述

  • 查看是否上传成功
    在这里插入图片描述

16、下载文件

  • -copyToLocal类似于-get，执行命令：hdfs dfs -copyToLocal /ied01/sunshine.txt sunlight.txt
    在这里插入图片描述

  • 查看是否下载成功
    在这里插入图片描述

17、查看某目录下文件个数

  • 执行命令：hdfs dfs -count /ied01
    在这里插入图片描述

18、检查hadoop本地库

  • 执行命令：hdfs checknative -a

在这里插入图片描述

  • 查看hadoop本地库文件
    在这里插入图片描述

19、进入和退出安全模式

  • 问题：哪些情况下HDFS会进入安全模式（只能读不能写）？
    （1）名称起点启动时，进入安全模式，直到fsimage用edits更新完毕才退出安全模式
    （2）当文件块的副本数量少于设置的副本数量，会进入安全模式，直到生成符合要求的副本数，才会退出安全模式。其实，也可以通过命令方式进入或退出安全模式。

执行命令：hdfs dfsadmin -safemode enter, 注意：进入安全模式之后，只能读不能写在这里插入图片描述

  • 此时，如果要创建目录，就会报错
    在这里插入图片描述
    退出安全模式

执行命令：hdfs dfsadmin -safemode leave
在这里插入图片描述

Argonaut_
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实验二、HDFS shell操作及HDFS Java API编程
04-10
适合刚接触hadoop的学生或小白，内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
第二章 HDFS的Shell操作.pptx
08-10
HDFS的Shell操作，bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类等等。
大数据：HDFS的Shell常用命令操作
梁辰兴的博客
11-26 5133
HDFS允许用户数据组织成文件和文件夹的方式，它提供一个叫DFSShell的接口，使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells（bash,csh）相似。Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。三种Shell命令方式命令。
hdfs shell操作
m0_72168501的博客
11-23 5750
hdfs 的shell 操作
【大数据·hadoop】在hdfs上运行shell基本常用命令
Yaoyao2024的博客
05-11 1750
在Hadoop生态系统中，supergroup 是一个默认的用户组，通常与HDFS的超级用户（即 Hadoop 的管理员账户，类似于 Unix 系统中的 root 用户）关联。超级用户和属于 supergroup 组的用户通常有着对HDFS上所有文件和目录的全权限，这包括读取、写入和执行权限。
HDFS shell操作
Z_Data的博客
09-21 252
在HDFS的几种常见访问方式中，命令行操作方式是最常用的，所以一定要熟练掌握这种访问方式。
HDFS SHELL 操作命令
qq_67829861的博客
05-12 302
（5），把Hadoop安装目录下share/doc/hadoop/images目录中的所有文件上传到picture目录中。（2)，读本地myfile文件的数据内容并追加到HDFS中的myinfo.txt文件中。（6），把picture目录中的所有.jpg图片移到子目录myphoto中保存。（4），把Hadoop安装目录中的README.txt文件上传到doc目录中。（8），删除picture目录中的所有后缀名为png的文件。（7），统计picture目录中的所有文件的总个数。
HDFS Shell 操作
超电磁手炮的博客
11-01 178
建个文件 hdfs dfs -mkdir /文件 查看当前目录下的文件 hdfs dfs -ls / 在某个文件下建个目录 hdfs dfs -mkdir-p /temp/user/data/el 将文件移动到某个目录下 hdfs dfs -put 文件 /目录 看文件的内容的前几行（默认是前10行） hdfs dfs -cat /文件 |head 查看文件有多少行 hdfs dfs -cat /文件 |wc -l 查看文件有特定字符的行内容 hdfs dfs -cat /文件 | grep
实验二：HDFS shell操作
qq_63525511的博客
10-16 349
（1）向HDFS中上传XXX.txt文件(2)查看HDFS中制定文件的内容（3）显示HDFS中制定文件的读写权限、大小、创建时间、路径等信息。根据提供的文件路径，这是一个名为"杨海军.txt"的文件。该文件的权限为"rw-r--r--"，表示文件所有者具有读写权限，而文件所有者所在的组和其他用户只有读取权限。文件大小为313字节，并且最后修改时间为2023年10月16日19:08。(4)从HDFS中下载第（1）步上传XXX.txt文件，并本地文件系统查看下载文件内容。1、在桌面打开终端。
hdfs Shell操作
qq_43192537的博客
10-24 360
`
2.2 HDFS shell操作
weixin_45475434的博客
06-13 223
2.2 HDFS shell操作 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式 ls 使用方法：hadoop fs -ls 如果是文件，则按照如下格式返回文件信息： 文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID 如果是目录，则返回它直接子文件的一个列表，就像在Unix中一样。目录返回列表的信息如下： 目录名 修改日期 修改时间 权限 用户ID 组ID 示例： hadoop fs -ls /user/hadoop/file1 /u
HDFS的shell操作
qq_65274143的博客
11-17 1744
HDFS的shell操作
Hadoop之HDFS的shell操作
01-07
HDFS的java客户端操作：https://blog.csdn.net/weixin_45102492/article/details/104378020 Hadoop之HDFS的数据流：https://blog.csdn.net/weixin_45102492/article/details/104384789 NameNode和SecondaryNameNode...
Hadoop框架之HDFS的shell操作
05-20
一旦确认Hadoop服务运行正常，就可以开始进行HDFS的shell操作了。 **ls**：此命令用于查看指定路径的当前目录结构，与Linux中的`ls`命令类似。例如，`hadoop fs -ls /`将显示HDFS的根目录内容。如果未指定路径，它...
2、HDFS操作 - shell客户端
05-29
本文将深入探讨HDFS的shell操作，包括基本的语法格式和具体命令示例。 一、语法格式 HDFS Shell客户端的命令语法与传统的Linux shell命令类似，如`ls`, `mkdir`, 和 `rm`。这些命令用于在HDFS上执行文件和目录的...
C# WPF入门学习主线篇（七）—— Label常见属性和事件
weixin_56595425的博客
06-07 1825
在《C# WPF入门学习主线篇（七）—— Label常见属性和事件》一文中，我们详细探讨了 WPF 中 `Label` 控件的常见属性和事件，包括 `Content`、`FontSize`、`Foreground`、`Background` 等属性，以及 `MouseEnter`、`MouseLeave`、`MouseDown` 和 `KeyDown` 等事件。通过丰富的示例代码，本文帮助读者掌握如何自定义 `
WPF前端：一个简单的数值设置样式卡片，支持MVVM绑定
XX_YYDS的博客
07-24 494
WPF前端：数值设置卡片样式，支持MVVM绑定
分布式系统常见软件架构模式
最新发布
Ben的专栏
07-25 948
简而言之，有效管理数据和通信流对于构建健壮且可扩展的分布式系统至关重要。对等、API 网关、发布-订阅、请求-响应、事件溯源、ETL、批处理、流处理和编排等架构模式提供了有价值的解决方案，以应对系统设计和实现中的各种挑战。通过理解这些软件架构和分布式系统模式及其各自的优势和权衡，架构师和开发人员可以做出明智的决策，设计出满足其应用程序和用户不断变化的需求的系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值