HDFS命令详解

最新推荐文章于 2024-02-26 22:00:58 发布
最新推荐文章于 2024-02-26 22:00:58 发布
阅读量322 收藏
点赞数 1
分类专栏： hadoop 文章标签： hadoop HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43855370/article/details/101721590
版权

HDFS dfsadmin 命令详解

  1. -report：获取集群报表信息【心跳机制汇报的就是report信息】

    [hadoop@master ~]$ ·hdfs dfsadmin -report·
    Configured Capacity: 55935541248 (52.09 GB)
    Present Capacity: 39769579520 (37.04 GB)
    DFS Remaining: 39099133952 (36.41 GB)
    DFS Used: 670445568 (639.39 MB)
    DFS Used%: 1.69%
    Under replicated blocks: 0
    Blocks with corrupt replicas: 0
    Missing blocks: 0
    Missing blocks (with replication factor 1): 0

    Live datanodes (3):

    Name: 192.168.204.210:50010 (slave03)
    Hostname: slave03
    Decommission Status : Normal
    Configured Capacity: 18645180416 (17.36 GB)
    DFS Used: 223481856 (213.13 MB)
    Non DFS Used: 5392871424 (5.02 GB)
    DFS Remaining: 13028827136 (12.13 GB)
    DFS Used%: 1.20%
    DFS Remaining%: 69.88%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Xceivers: 1
    Last contact: Sat Aug 03 21:46:59 CST 2019

    Name: 192.168.204.206:50010 (slave01)
    Hostname: slave01
    Decommission Status : Normal
    Configured Capacity: 18645180416 (17.36 GB)
    DFS Used: 223481856 (213.13 MB)
    Non DFS Used: 5386186752 (5.02 GB)
    DFS Remaining: 13035511808 (12.14 GB)
    DFS Used%: 1.20%
    DFS Remaining%: 69.91%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Xceivers: 1
    Last contact: Sat Aug 03 21:46:59 CST 2019

    Name: 192.168.204.208:50010 (slave02)
    Hostname: slave02
    Decommission Status : Normal
    Configured Capacity: 18645180416 (17.36 GB)
    DFS Used: 223481856 (213.13 MB)
    Non DFS Used: 5386903552 (5.02 GB)
    DFS Remaining: 13034795008 (12.14 GB)
    DFS Used%: 1.20%
    DFS Remaining%: 69.91%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Xceivers: 1
    Last contact: Sat Aug 03 21:46:59 CST 2019

  2. -setQuota：设置目录配额

    【进行目录配额的文件夹算一个，传输进的文件夹也算一个】

    【不能对/进行目录配额，无法清空】

    [hadoop@main hadoop]$ hadoop fs -mkdir /mumu
    》》[hadoop@main hadoop]$ hdfs dfsadmin -setQuota 3 /mumu

    》[hadoop@master ~]$ hadoop fs -put tree.txt /mumu
    》[hadoop@master ~]$ hadoop fs -put Public/ /mumu
    》[hadoop@master ~]$ hadoop fs -put tree.txt /mumu/trees.txt
    put: The NameSpace quota (directories and files) of directory /mumu is exceeded: quota=3 file count=4

    》》[hadoop@master ~]$ hdfs dfsadmin -setQuota 6 /mumu
    》[hadoop@master ~]$ hadoop fs -mkdir /mumu/test
    [hadoop@master ~]$ mkdir Test
    [hadoop@master Test]$ echo "zhuyili" > Test/test.txt
    》[hadoop@master ~]$ hadoop fs -put Test/ /mumu

    [hadoop@master ~]$ hadoop fs -ls -R /
    drwxr-xr-x - hadoop supergroup 0 2019-08-02 04:09 /mumu
    drwxr-xr-x - hadoop supergroup 0 2019-08-02 04:02 /mumu/Public
    drwxr-xr-x - hadoop supergroup 0 2019-08-02 04:09 /mumu/Test
    -rw-r–r-- 1 hadoop supergroup 8 2019-08-02 04:09 /mumu/Test/test.txt
    drwxr-xr-x - hadoop supergroup 0 2019-08-02 04:07 /mumu/test
    -rw-r–r-- 1 hadoop supergroup 867 2019-08-02 04:01 /mumu/tree.txt
    [hadoop@master ~]$ echo "zhuzhu" > Test/test1.txt
    》[hadoop@master ~]$ hadoop fs -put Test/test1.txt /mumu
    put: The NameSpace quota (directories and files) of directory /mumu is exceeded: quota=6 file count=7

    【因此，目录配额的数量，实际是，检索一个目录的[所有文件数 + 子目录数 + 目录本身（1）]】

  3. -setSpaceQuota：设置目录空间配额

    【目录空间配额设定以后，剩余空间大小要 > （上传文件大小/块大小=块数）* 副本数 * 块大小】

    [hadoop@master current]$ hdfs dfsadmin -setSpaceQuota 800M /mumu

  4. -clrQuota：清空目录配额

    [hadoop@master ~]$ hdfs dfsadmin -clrQuota /mumu

  5. -clrSpaceQuota：清空空间配额

    [hadoop@master ~]$ hdfs dfsadmin -clrSpaceQuota /mumu

  6. 查看配额情况

    》[hadoop@master current]$ hadoop fs -count -q -h /mumu

    ​ 6 2 none inf 2 2 211.4 M /mumu

    【目录配额数：剩余目录配额：空间配额数：剩余空间配额：目录数：文件数：已使用容量：目录名】

    【-q：显示配额详情（容量以字节展示）】

    》[hadoop@master current]$ hadoop fs -count -h /mumu
    2 2 211.4 M /mumu

    【-h：显示目录信息】

    【-q -h：显示配额详情（容量以具体单位：k，M，G展示）】

  7. -metasave：保存HDFS集群相关节点信息${HADOOP.LOG.DIR}目录

    》》[hadoop@master logs]$ hdfs dfsadmin -metasave 2019-08-04-16-16
    Created metasave file 2019-08-04-16-16 in the log directory of namenode hdfs://master:9000

    [hadoop@master logs]$ cd $HADOOP_HOME/logs

    [hadoop@master logs]$ cat 2019-08-04-16-16

    9 files and directories, 6 blocks = 15 total
    Live Datanodes: 3
    Dead Datanodes: 0
    Metasave: Blocks waiting for replication: 0
    Mis-replicated blocks that have been postponed:
    Metasave: Blocks being replicated: 0
    Metasave: Blocks 0 waiting deletion from 0 datanodes.
    Metasave: Number of datanodes: 3
    192.168.204.210:50010 IN 18645180416(17.36 GB) 436146176(415.94 MB) 2.34% 12816138240(11.94 GB) 0(0 B) 0(0 B) 100.00% 0(0 B) Sun Aug 04 16:11:19 CST 2019
    192.168.204.206:50010 IN 18645180416(17.36 GB) 436146176(415.94 MB) 2.34% 12822732800(11.94 GB) 0(0 B) 0(0 B) 100.00% 0(0 B) Sun Aug 04 16:11:20 CST 2019
    192.168.204.208:50010 IN 18645180416(17.36 GB) 436146176(415.94 MB) 2.34% 12822097920(11.94 GB) 0(0 B) 0(0 B) 100.00% 0(0 B) Sun Aug 04 16:11:19 CST 2019

  8. -fetchImage：拉取fsimage文件，在datanode节点操作

    》》[hadoop@slave01 ~]$ hdfs dfsadmin -fetchImage ~

    19/08/04 16:19:28 INFO namenode.TransferFsImage: Opening connection to http://master:50070/imagetransfer?getimage=1&txid=latest
19/08/04 16:19:28 INFO namenode.TransferFsImage: Image Transfer timeout configured to 60000 milliseconds
19/08/04 16:19:28 INFO namenode.TransferFsImage: Transfer took 0.16s at 0.00 KB/s

  9. 快照Snapshot

    》》[hadoop@master logs]$ hdfs dfsadmin -allowSnapshot /mumu
    Allowing snaphot on /mumu succeeded

    》》[hadoop@master logs]$ hadoop fs -createSnapshot /mumu mumu_snapshot

    created snapshot /mumu/.snapshot/mumu_snapshot
    》》[hadoop@master logs]$ hadoop fs -deleteSnapshot /mumu mumu_snapshot

HDFS 中的绝对路径

  • hadoop fs -put tree.txt hdfs://master:9000/mumu

    其实就是

    hadoop fs -put tree.txt /mumu

  • 用户路径

    创建HDFS的linux用户就是HDFS的默认用户，可以给hadoop这个用户创建HDFS中的用户目录

    》$>hadoop fs -mkdir /user/hadoop

    创建之后，如果不指定上传的目录位置，就默认上传到用户目录下

    【但未创建又不指定目标目录则报错，找不到该路径】

    》$>hadoop fs -put tree.txt

    【该文件的路径为：/user/hadoop/tree.txt】

  • 如果目录下有同名文件，在上传时又指定了相对路径的目录，则重命名该文件

    存在/mumu/tree.txt文件

    》$>hadoop fs -put tree.txt tree

    则/mumu/tree.txt文件被重命名为/mumu/tree

geekLinyi
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS命令详解及编程实例
2301_79331328的博客
09-20 91
HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统的核心组件之一，它是一个分布式文件系统，旨在存储大规模数据集，并提供高度容错性、高吞吐量和可扩展性。HDFS命令是与HDFS交互的工具，通过使用这些命令，可以管理HDFS中的文件和目录，进行文件操作以及执行其他与HDFS相关的任务。通过使用这些命令和编程接口，你可以方便地管理HDFS中的文件和目录，以及执行各种与HDFS相关的操作。这些是一些常用的HDFS命令，你可以根据自己的需求使用它们。
hdfs命令大全
04-13
hdfs命令大全速查手册，平时工作整理，方便快捷！！！
hadoop-hdfs简介及常用命令详解（超详细）
zcs2312852665的博客
12-11 5636
本文介绍了HDFS（Hadoop Distributed File System）的概念、架构和常用操作。HDFS是一个分布式文件系统，适用于存储和处理大规模数据集。文章首先简要介绍了HDFS的概述，包括其设计目标和架构组件。接着详细介绍了HDFS命令的基本语法和常用选项，如列出文件和目录、创建目录、上传和下载文件、删除文件和目录、移动文件和目录等。通过本文的阅读，您可以更好地理解和使用HDFS，从而提高大数据处理和分析的效率。
HDFS命令行操作
u012769007的专栏
11-09 926
HDFS文件操作命令 1、列出HDFS文件 bin/hadoop fs -ls 在HDFS中未带参数的-ls命令没有返回任何值，它默认返回HDFS的“home”目录下的内容，在HDFS中，没有当前目录这一概念，也没有cd命令。 2、列HDFS目录下某个文档中的文件 bin/hadooop fs -ls in 3、上传文件到HDFS bin/hadoop fs -put test1 t
HDFS基本原理及数据存取实战
weixin_33860553的博客
06-10 904
--------------------------------------------------------------------------------------------------------------- [版权申明：本文系作者原创，转载请注明出处] 文章出处：http://blog.csdn.net/sdksdk0/arti...
HDFS shell全部命令详解
qq_45725767的博客
09-05 353
[xuyuan@hadoop102 ~]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] #是将一个或者多个文件添加到HDFS系统中。 [-cat [-ignoreCrc] <src> ...] #查看文件内容（可以查看本地和HDFS上的内容）。 [-checksum <src> ...] #查看校验码信息。（例子显示了MD5）
HDFS命令
zhizhong0209的博客
12-01 303
HDFS命令 1. hdfs基本操作 HDFS命令有两种风格： ​ hadoop fs开头的 ​ hdfs dfs开头的 两种命令均可使用，效果相同 1.1 常用命令 如何查看hdfs或hadoop子命令的帮助信息，如ls子命令 hdfs dfs -help ls hadoop fs -help ls #两个命令等价 查看hdfs文件系统中已经存在的文件。对比linux命令ls hdfs dfs -ls / hadoop fs -ls / 在hdfs文件系统中创建文件 hdfs dfs
HDFS 命令
pys52055的博客
01-03 215
显示目录信息 hadoop fs -ls / 创建目录 hadoop fs -mkdir -p /pys/mkdirtest 剪切文件 本地目录 HDFS目录 hadoop fs -moveFromLocal ./test.txt /pys/ 拷贝文件 本地目录 HDFS目录 hadoop fs -copyFromLocal ./test.txt /pys/ hadoop fs -put ./test.txt /pys/ 拷贝文件到本地 HDFS目录 本地目录 hadoop fs
HDFS全面详解
01-27
### HDFS的组成部分详解 #### NameNode - 维护文件系统的元数据，包括目录结构、文件属性等。 - 通过命名空间提供统一的抽象目录树供客户端访问。 - 指定文件block的存储位置。 - 定义了HDFS的副本存放策略，确保...
Hadoop HDFS_Shell命令详解.pdf
06-01
### Hadoop HDFS Shell 命令详解 #### 概述 Hadoop HDFS Shell 是一组用于与Hadoop分布式文件系统 (HDFS) 进行交互的命令行工具。通过这些命令，用户能够执行诸如创建、删除、移动文件以及设置文件权限等操作。本文...
HDFS常用Shell命令
01-07
本篇文章只是简单阐述一下HDFS中常用命令, 在实际开发中可使用 bin/hadoop fs查看命令详情 使用HDFS基本语法: bin/hadoop fs OR bin/hdfs dfs 注:为帮助快速理解并使用本文中使用T表示target 基本命令 1.启动hadoop集群 HDFS相关组件: sbin/start-dfs.sh YARN相关组件: sbin/start-yarn.sh 2.显示目录信息 -ls hadoop fs -ls $pdir 3.在HDFS上创建目录 -mkdir hadoop fs -mkdir -p $pdir/$fname
step7_HDFS（HDFS详解）1
08-04
HDFS详解 HDFS（Hadoop Distributed File System）是一种分布式文件系统，主要用于存储大规模数据。HDFS的设计思想是“分而治之”，将大文件分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行...
HDFS常用命令总结
最新发布
⚡
02-26 996
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景。NameNode（名称节点）：它是HDFS的主服务器，负责管理文件系统的命名空间和客户端对文件的访问。NameNode执行文件系统的命名操作，如打开、关闭、重命名文件或目录。
HDFS命令大全
zhuyuqi840123的专栏
11-13 426
HDFS命令大全
HDFS详解
qq_43667449的博客
03-03 935
帮助读者理解HDFS
HDFS详解+命令操作演示
qq_40585384的博客
11-19 1788
HDFS概述 HDFS（Hadoop Distributed File System）是Apache Hadoop 项目的一个子项目。Hadoop非常实用存储大型数据，TB和PB级别的，其就是使用的HDFS作为存储系统。HDFS是分布式文件系统使用多台计算机存储文件，并提供统一的访问接口，就像访问本地普通文件系统一样。 分布式文件系统解决的就是大数据存储问题。他们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需要的扩展能力。 HDFS特点
linux 查找某个目录或文件的位置 find
Rsun2018的博客
09-09 1660
find  /  -name  1.txt : 在根目录下开始寻找1.txt find  /root  -name  *1.txt : 从root目录下开始寻找 带有名称1的txt文件   在root目录下，查找包含 QQQ 的文件 find  /root  -name "*" | xargs grep "QQQ"   注意：如果搜索的文件名称没有加上双引号，查到的文件个数可能有误，例如在某个文件目录..
HDFS常用命令与实际操作图解
花果山
06-18 411
HDFS常用命令： hdfs dfs -help 显示帮助文档，列出了所有可以使用文档命令及语法 hdfs dfs -appendToFile 本地文件路径 hdfs中文件路径将指定文件或文件夹中的所有内容添加到HDFS上的目标文件的尾部，对已经在HDFS中的内容是不允许被修改的。因为被设计之初，HDFS就是为了高吞吐，是查询分析，而不是修改。 hdfs dfs -cat hdfs 上文件的路径查看hdfs文件的内容 hdfs dfs -put 本地文件路径 hdfs上文件的路径将
HDFS常用命令汇总
热门推荐
Button的博客
02-02 1万+
HDFS常用命令
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值