HDFS的Shell操作

最新推荐文章于 2024-05-11 17:09:39 发布
最新推荐文章于 2024-05-11 17:09:39 发布
阅读量735 收藏 3
点赞数 1
分类专栏： 11 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Argonaut_/article/details/128313262
版权

HDFS的Shell操作

学习目标

  • 熟悉HDFS Shell常用命令操作
  • 掌握Shell定时采集数据到HDFS

（一）HDFS的Shell介绍

  • Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。
  • 文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。

（二）了解HDFS常用Shell命令

1、三种Shell命令方式

在这里插入图片描述

2、FileSystem Shell文档

https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html
在这里插入图片描述

  • 查看cat命令用法
    在这里插入图片描述

3、常用HDFS的shell命令

在这里插入图片描述
在这里插入图片描述

（三）HDFS常用命令操作实战

  • 启动Hadoop集群
    在这里插入图片描述

1、创建目录

  • 执行命令：hdfs dfs -mkdir /ied
    在这里插入图片描述
  • 利用Hadoop WebUI查看创建的目录
    在这里插入图片描述

2、创建多层目录

  • 执行命令：hdfs dfs -mkdir /luzhou/lzy，会报错，因为/luzhou目录不存在
    在这里插入图片描述
  • 当然，可以先创建/luzhou目录，然后在里面再创建lzy子目录，但是也可以一步到位，需要一个-p参数
  • 执行命令：hdfs dfs -mkdir -p /luzhou/lzy
    在这里插入图片描述
  • 利用Hadoop WebUI查看创建的多层目录
    在这里插入图片描述

3、查看目录

  • 执行命令：hdfs dfs -ls /，查看根目录（可以在任何节点上查看，结果都是一样的）
    在这里插入图片描述
    在这里插入图片描述
  • 执行命令：hdfs dfs -ls /luzhou
    在这里插入图片描述
  • 如果我们要查看根目录里全部的资源，那么要用到地柜参数-R（必须大写）
  • 执行命令：hdfs dfs -ls -R /，递归查看/目录（采用递归算法遍历树结构）
    在这里插入图片描述

4、上传本地文件到HDFS

  • 创建test.txt文件，执行命令：echo “hello hadoop world” > test.txt （>：重定向命令）
    在这里插入图片描述
  • 查看test.txt文件内容
    在这里插入图片描述
  • 上传test.txt文件到HDFS的/ied目录，执行命令：hdfs dfs -put test.txt /ied
    在这里插入图片描述
  • 查看是否上传成功
    在这里插入图片描述
  • 利用Hadoop WebUI界面查看
    在这里插入图片描述
    在这里插入图片描述

5、查看文件内容

  • 执行命令：hdfs dfs -cat /ied/test.txt

在这里插入图片描述

6、下载HDFS文件到本地

  • 先删除本地的test.txt文件
    在这里插入图片描述
  • 下载HDFS文件系统的/ied/test.txt到本地当前目录不改名，执行命令：hdfs dfs -get /ied/test.txt
    在这里插入图片描述
  • 检查是否下载成功
    在这里插入图片描述
  • 可以将HDFS上的文件下载到本地指定位置，并且可以更改文件名
  • 执行命令：hdfs dfs -get /ied/test.txt /home/exam.txt
    在这里插入图片描述
  • 检查是否下载成功
    在这里插入图片描述

7、删除HDFS文件

  • 执行命令：hdfs dfs -rm /ied/test.txt
    在这里插入图片描述
  • 检查是否删除成功
    在这里插入图片描述
  • 使用通配符，可以删除满足一定特征的文件
    在这里插入图片描述

8、删除HDFS目录

  • 执行命令：hdfs dfs -rmdir /luzhou
    在这里插入图片描述
  • 提示-rmdir命令删除不了非空目录。
  • 要递归删除才能删除非空目录：hdfs dfs -rm -r /luzhou（-r：recursive）
    在这里插入图片描述
  • 课堂练习：将/BigData变成一个空目录（删除里面的空子目录Class1和Class2以及文件test.txt）
    在这里插入图片描述
  • 此时，删除空目录/BigData
    在这里插入图片描述

9、移动目录或文件

  • -mv命令兼有移动与改名的双重功能
  • 将/ied目录更名为/ied01，执行命令：hdfs dfs -mv /ied /ied01
    在这里插入图片描述
  • 利用Hadoop WebUI查看是否更名成功
    在这里插入图片描述
  • 将/ied01/exam.txt更名为/ied/test.txt，执行命令：hdfs dfs -mv /ied01/exam.txt
    /ied01/test.txt
    在这里插入图片描述
    在这里插入图片描述

10、文件合并下载

  • 创建sport.txt、music.txt和book.txt并上传
    在这里插入图片描述
  • 在Hadoop WebUI界面查看上传的三个文件，注意文件名是按字典排序了的
    在这里插入图片描述
  • 合并/ied01目录的文件下载到本地当前目录的merger.txt，执行命令：hdfs dfs -getmerge /ied01/*
    merger.txt
    在这里插入图片描述
  • 下面，查看本地的merger.txt，看是不是三个文件合并后的内容
    在这里插入图片描述
  • 由此可见，merger.txt是book.txt、music.txt与sport.txt合并后的结果

11、检查文件信息

  • fsck: file system check —— 文件系统检查
  • 检查/ied01/book.txt文件，执行命令：hdfs fsck /ied01/book.txt -files -blocks locations -racks
    在这里插入图片描述
  • 我们知道HDFS里一个文件块是128MB，上传一个大于128MB的文件，hadoop-3.3.4.tar.gz大约663.24MB
  • 128 M B × 5 = 640 M B < 663.24 M B < 768 M B = 128 M B × 6 128
    MB\times 5 = 640MB \lt 663.24MB \lt 768MB = 128 MB\times
    6128MB×5=640MB<663.24MB<768MB=128MB×6
    ，HDFS会将hadoop-3.3.4.tar.gz分割成6块。
    在这里插入图片描述
  • 执行命令：hdfs dfs -put /opt/hadoop-3.3.4.tar.gz
    /ied01，将hadoop压缩包上传到HDFS的/ied01目录
    在这里插入图片描述
  • 查看HDFS上hadoop-3.3.4.tar.gz文件信息，执行命令：hdfs fsck
    /ied01/hadoop-3.3.4.tar.gz -files -locations -racks
    在这里插入图片描述
  • 利用Hadoop WebUI来查看文件块信息更加方便，总共有6个文件块：Block0、Block1、Block2、Block3、Block4、Block5
    在这里插入图片描述
  • 第1个文件块信息
    在这里插入图片描述
  • 第6个文件块信息
    在这里插入图片描述

12、创建时间戳文件

  • 在/ied01目录里创建一个文件sunshine.txt，执行命令：hdfs dfs -touchz /ied01/sunshine.txt
    在这里插入图片描述
  • 创建的是一个空文件，大小为0字节
    在这里插入图片描述
  • 这种空文件，一般用作标识文件，也可叫做时间戳文件，再次在/ied01目录下创建sunshine.txt同名文件
    在这里插入图片描述
  • 说明：如果touchz命令的路径指定的文件不存在，那就创建一个空文件；如果指定的文件存在，那就改变该文件的时间戳。

13、复制文件或目录

  • cp: copy - 拷贝或复制
  • 同名复制文件

将/ied01/music.txt复制到/ied02里，执行命令：hdfs dfs -cp /ied01/music.txt /ied02
在这里插入图片描述

  • 查看拷贝生成的文件
    在这里插入图片描述
    改名复制文件

  • 将/ied01/book.txt复制到/ied02目录，改名为read.txt，执行命令：hdfs dfs -cp /ied01/book.txt /ied02/read.txt
    在这里插入图片描述

  • 查看拷贝后的文件内容
    在这里插入图片描述

  • 源文件依然存在
    在这里插入图片描述
    复制目录

  • 将/ied01目录复制到/ied03目录，执行命令：hdfs dfs -cp /ied01 /ied03
    在这里插入图片描述

  • 查看拷贝后的/ied03目录，其内容跟/ied01完全相同
    在这里插入图片描述

14、查看文件大小

  • du: disk usage

  • 执行命令：hdfs dfs -du /ied01/book.txt
    在这里插入图片描述

15、上传文件

  • -copyFromLocal类似于-put，执行命令：hdfs dfs -copyFromLocal merger.txt /ied02
    在这里插入图片描述

  • 查看是否上传成功
    在这里插入图片描述

16、下载文件

  • -copyToLocal类似于-get，执行命令：hdfs dfs -copyToLocal /ied01/sunshine.txt sunlight.txt
    在这里插入图片描述

  • 查看是否下载成功
    在这里插入图片描述

17、查看某目录下文件个数

  • 执行命令：hdfs dfs -count /ied01
    在这里插入图片描述

18、检查hadoop本地库

  • 执行命令：hdfs checknative -a

在这里插入图片描述

  • 查看hadoop本地库文件
    在这里插入图片描述

19、进入和退出安全模式

  • 问题：哪些情况下HDFS会进入安全模式（只能读不能写）？
    （1）名称起点启动时，进入安全模式，直到fsimage用edits更新完毕才退出安全模式
    （2）当文件块的副本数量少于设置的副本数量，会进入安全模式，直到生成符合要求的副本数，才会退出安全模式。其实，也可以通过命令方式进入或退出安全模式。

执行命令：hdfs dfsadmin -safemode enter, 注意：进入安全模式之后，只能读不能写在这里插入图片描述

  • 此时，如果要创建目录，就会报错
    在这里插入图片描述
    退出安全模式

执行命令：hdfs dfsadmin -safemode leave
在这里插入图片描述

Argonaut_
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实验二、HDFS shell操作及HDFS Java API编程
04-10
适合刚接触hadoop的学生或小白，内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
第二章 HDFS的Shell操作.pptx
08-10
HDFS的Shell操作，bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类等等。
大数据：HDFS的Shell常用命令操作
梁辰兴的博客
11-26 5119
HDFS允许用户数据组织成文件和文件夹的方式，它提供一个叫DFSShell的接口，使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells（bash,csh）相似。Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。三种Shell命令方式命令。
Hadoop框架---HDFS的Shell命令操作
丷江南南的博客
04-27 1935
其有很多命令，但在生产环境中我们经常使用的命令并没有那么多，因此需要时再回头查阅上图中的命令即可。put命令和copyFromLocal命令有着相同的复制效果，所以我们。这里我们把3台服务器各自对应的节点都打开了，为了方便后续测试。在使用shell命令前，一定要确保我们的Hadoop。自由选择以上任意一种语法格式。跳转到Web端的HDFS，处于。
【大数据·hadoop】在hdfs上运行shell基本常用命令
最新发布
Yaoyao2024的博客
05-11 1597
在Hadoop生态系统中，supergroup 是一个默认的用户组，通常与HDFS的超级用户（即 Hadoop 的管理员账户，类似于 Unix 系统中的 root 用户）关联。超级用户和属于 supergroup 组的用户通常有着对HDFS上所有文件和目录的全权限，这包括读取、写入和执行权限。
HDFS常用的shell命令
CHEN的博客笔记
10-28 9712
HDFS Shell命令使用 hadoop fs与hdfs dfs的命令的使用是相似的，本实验使用的是hdfs dfs命令，所有命令的操作都是在hadoop用户下进行。 1.1.1.1. mkdir：创建文件夹 使用方法：hdfs fs -mkdir [-p] 接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。 示例1:在分布式主目录下新建文件夹test [hadoop@master ~]$ hdfs dfs -mkdir /test [had
HDFS的shell操作
m0_73693938的博客
11-18 1402
一、导入新课 上一节中，主要讲解了HDFS的架构和原理，使得学生更深入的了解HDFS的底层架构以及读写数据的原理，那我们该如何访问HDFS呢？HDFS提供了多种数据访问方式，而Shell命令行方式是最简单的，也是许多开发者最容易掌握的方式，本节将针对HDFS的Shell操作进行详细讲解。 二、新课讲解 （一）HDFS的Shell介绍 Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。
hadoop的HDFS的shell命令大全（一篇文章就够了）
热门推荐
m0_43405302的博客
12-30 2万+
HDFS的shell命令 1、安全模式 安全模式：集群启动时，DN所有的DN都必须向MM汇报磁盘使用状态和block存储信息。在此之前出于对hdfs的保护，会禁止访问hdfs，此状态为安全模式 1.查看安全模式状态 #查看安全模式状态 hdfs dfsasmin --safemode get #-状态- on|off #----- 2.手工开启安全模式状态 #手工进入安全模式 hdfs dfsasmin --safemode enter 3.手工关闭安全模式状态 #手工退出安全模式 hdfs dfsas
HDFS常用命令汇总
Button的博客
02-02 1万+
HDFS常用命令
Hadoop之HDFS的shell操作
01-07
HDFS的java客户端操作：https://blog.csdn.net/weixin_45102492/article/details/104378020 Hadoop之HDFS的数据流：https://blog.csdn.net/weixin_45102492/article/details/104384789 NameNode和SecondaryNameNode...
Hadoop框架之HDFS的shell操作
05-20
Hadoop框架之HDFS的shell操作Hadoop框架之HDFS的shell操作Hadoop框架之HDFS的shell操作Hadoop框架之HDFS的shell操作
批量修改文件后缀名
01-03
批量修改文件后缀名，可以设置要修改目录的深度
HDFS常用Shell命令
01-07
本篇文章只是简单阐述一下HDFS中常用命令, 在实际开发中可使用 bin/hadoop fs查看命令详情 使用HDFS基本语法: bin/hadoop fs OR bin/hdfs dfs 注:为帮助快速理解并使用本文中使用T表示target 基本命令 1.启动hadoop集群 HDFS相关组件: sbin/start-dfs.sh YARN相关组件: sbin/start-yarn.sh 2.显示目录信息 -ls hadoop fs -ls $pdir 3.在HDFS上创建目录 -mkdir hadoop fs -mkdir -p $pdir/$fname
2、HDFS操作 - shell客户端
05-29
2、HDFS操作 - shell客户端 网址：https://blog.csdn.net/chenwewi520feng/article/details/130325405 本文介绍hdfs的shell操作，本文的前提是hdfs的功能正常运行。 本文分为2个部分介绍，即语法格式与具体示例。
hdfs-shell：HDFS Shell是一种HDFS操作工具，可与Hadoop DFS中集成的功能一起使用
02-05
HDFS Shell UI（CLI工具） HDFS Shell是可与一起使用的HDFS操作工具目的有3种可能的用例： 运行用户交互式UI Shell，按用户插入命令使用特定的HDFS命令启动Shell 在守护程序模式下运行-使用UNIX域套接字进行通信为...
【HDFS篇02】HDFS命令行操作1
08-04
本文将详细介绍HDFS的Shell操作，主要涵盖基本语法、常用命令以及其用法。 首先，HDFS的Shell操作有两种基本语法，即`hadoop fs`和`hdfs dfs`，两者功能相同，但`hadoop fs`更推荐使用。这些命令可以用来执行各种...
HDFS常用命令
kkill_youokk_的博客
04-09 893
HDFS常用命令 1.启动hdfs start-dfs.sh jps查看 2.查看到所有HDFS Shell用户命令解释 hdfs dfs -help 3.查看 dfs管理命令帮助 hdfs dfsadmin -help 4.上传到hdfs的根目录 新建文件 touch /tmp/xinxi.txt hdfs dfs -put /tmp/xinxi.txt / 查看是否上传成功 hdfs dfs -ls / 新建文件并编辑 vi /tmp/xinxi1.txt 写入 how are you fi
嵌入式学习3（Linux常用shell命令下）
kepp_smiling的博客
07-10 343
4、用户和组群管理 注：普通用户都在/home目录下         root在/root目录下 用户 Ø  who am i：查看当前用户 Ø  who：查看当前有多少用户在使用资源 Ø  cd /home;ls :查看有多少用户 Ø  useradd mmm：增加用户mmm Ø  passwd mmm：设置或更改用户密码（无密码用户无法登录） Ø  userdel mmm：删
Java API操作HDFS写入，读取，重命名，显示文件列表等
qq_65274143的博客
12-01 6308
Java API操作HDFS写入，读取，重命名，显示文件列表等
hdfs shell操作
06-28
以下是HDFS Shell常用的一些操作： 1. 列出目录中的文件和子目录：`hdfs dfs -ls <目录路径>` 2. 创建目录：`hdfs dfs -mkdir <目录路径>` 3. 删除目录：`hdfs dfs -rm -r <目录路径>` 4. 上传本地文件到HDFS：`...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值