Hadoop2.x HDFS Shell命令

转载 2015年11月19日 10:30:36


Hadoop2 HDFS shell命令

 

1. hdfs dfs -appendToFile <localsrc> ... <dst>

 

可同时上传多个文件到HDFS里面

 

2.  hdfs dfs -cat URI [URI ...]

 

查看文件内容

 

3. hdfs dfs -chgrp [-R] GROUP URI [URI ...]

 

修改文件所属组

 

4.  hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

 

修改文件权限

 

5. hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

 

修改文件所有者,文件所属组,其他用户的读、写、执行权限

 

6. hdfs dfs -copyFromLocal <localsrc> URI

 

复制文件到hdfs

 

7.  hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

 

复制文件到本地

 

8. hdfs dfs -count [-q] <paths>

 

统计文件及文件夹数目

 

9.  hdfs dfs -cp [-f] URI [URI ...] <dest>

 

Hadoop HDFS 文件系统间的文件复制

 

10. hdfs dfs -du [-s] [-h] URI [URI ...]

 

统计目录下的文件及大小

 

 

 

11. hdfs dfs -dus <args>

 

汇总目录下的文件总大小

 

12.  hdfs dfs -expunge

 

清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除

 

13. hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

 

下载文件到本地

 

14. hdfs dfs -getfacl [-R] <path>

 

查看ACL (访问权限拥有者)

 

15. hdfs dfs -getmerge <src> <localdst> [addnl]

 

合并下载文件到本地

 

16. hdfs dfs -ls <args>

 

查看目录

 

17. hdfs dfs -lsr <args>

 

循环列出目录、子目录及文件信息 

 

18. hdfs dfs -mkdir [-p] <paths>

 

创建空白文件夹

 

19.  dfs -moveFromLocal <localsrc> <dst>

 

剪切文件到hdfs

 

20.  hdfs dfs -moveToLocal [-crc] <src> <dst>

 

剪切文件到本地

 

21. hdfs dfs -mv URI [URI ...] <dest>

 

剪切hdfs文件

 

22. hdfs dfs -put <localsrc> ... <dst>

 

上传文件

 

23. hdfs dfs -rm [-skipTrash] URI [URI ...]

 

删除文件/空白文件夹

 

24.  hdfs dfs -rmr [-skipTrash] URI [URI ...]

 

递归删除  删除文件及文件夹下的所有文件

 

25. hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

 

Sets Access Control Lists (ACLs) of files and directories.

Options:

  • -b: Remove all but the base ACL entries. The entries for user, group and others are retained for compatibility with permission bits.
  • -k: Remove the default ACL.
  • -R: Apply operations to all files and directories recursively.
  • -m: Modify ACL. New entries are added to the ACL, and existing entries are retained.
  • -x: Remove specified ACL entries. Other ACL entries are retained.
  • --set: Fully replace the ACL, discarding all existing entries. The acl_spec must include entries for user, group, and others for compatibility with permission bits.
  • acl_spec: Comma separated list of ACL entries.
  • path: File or directory to modify.

Examples:

  • hdfs dfs -setfacl -m user:hadoop:rw- /file
  • hdfs dfs -setfacl -x user:hadoop /file
  • hdfs dfs -setfacl -b /file
  • hdfs dfs -setfacl -k /dir
  • hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
  • hdfs dfs -setfacl -R -m user:hadoop:r-x /dir
  • hdfs dfs -setfacl -m default:user:hadoop:r-x /dir

Exit Code:

Returns 0 on success and non-zero on error.

 

 

26.  hdfs dfs -setrep [-R] [-w] <numReplicas> <path>

 

修改副本数

 

27. hdfs dfs -stat URI [URI ...]

 

显示文件统计信息

 

28.  hdfs dfs -tail [-f] URI

 

查看文件尾部信息

 

29. hdfs dfs -test -[ezd] URI

 

PATH进行如下类型的检查: 

-e PATH是否存在,如果PATH存在,返回0,否则返回

-z 文件是否为空,如果长度为0,返回0,否则返回

-d 是否为目录,如果PATH为目录,返回0,否则返回

 

30. hdfs dfs -text <src>

 

查看文件内容

 

31.  hdfs dfs -touchz URI [URI ...]

 

创建长度为0的空文件


原文地址:http://weir2009.iteye.com/blog/2082235

Hadoop 2.x Hdfs Shell 命令

Hadoop 2.x HDFS Shell 命令简单介绍。
  • yyywyr
  • yyywyr
  • 2016年05月04日 23:20
  • 1078

查看HDFS文件系统数据的三种方法

1、使用插件——Hadoop-Eclipse-Plugin 2、HDFS Web界面 3、shell命令
  • Flyfish111222
  • Flyfish111222
  • 2016年07月22日 15:38
  • 18557

Hadoop Hdfs常用命令

Hadoop Hdfs常用命令   概述  本文档介绍Hadoop hdfs系统的一些常用命令。  操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样。(...
  • sunshingheavy
  • sunshingheavy
  • 2016年11月19日 09:38
  • 2349

hdfs 如何列出目录下的所有文件

import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSy...
  • zhonglongshen
  • zhonglongshen
  • 2015年05月22日 17:45
  • 1586

【HDFS基础】HDFS文件目录详解

HDFS的文件目录图分析:从上图可以看出,HDFS的文件目录主要由NameNode、SecondaryNameNode和DataNode组成,而NameNode和DataNode之间由心跳机制通信。注...
  • baiye_xing
  • baiye_xing
  • 2017年07月28日 16:09
  • 833

初学hadoop之linux系统操作的hdfs的常用命令

1.在对linux的一般操作有 ls mikdir rmdir vi 等操作   在对hadoop的hdfs的一般操作语法为hadoop fs -ls /   /**表示查看Hadoop跟目录文件*...
  • Name_xiaoai
  • Name_xiaoai
  • 2014年03月22日 17:33
  • 15393

hadoop 2.x之HDFS HA讲解之十WEB UI监控页面分析和查看NN与JN存储的编辑日志

到现在为止,我们已经配置了hadoop的HA,让我们通过页面去查看下hadoop的文件系统。 1. 分析active namenode和standby namenode对客户端服务的情况。 ...
  • pfnie
  • pfnie
  • 2016年09月25日 15:38
  • 3739

Hadoop中HDFS常用命令

hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹 hadoop fs -put input1.txt /tmp/input 把本地文件inp...
  • small_farmer
  • small_farmer
  • 2017年04月26日 18:08
  • 129

查看HBase表在HDFS中的文件结构

问题导读: 1.hdfs中的建立的目录. 表与目录的关系式什么?一个表是否对应一个目录? 2.-ROOT-表和.META对应几个文件? 3.splitlog和.corrupt目录是用来做什么的?...
  • gingerredjade
  • gingerredjade
  • 2017年03月19日 21:52
  • 470

HaDoop文件系统HDFS的浏览器查看

简介:HaDoop安装之后,我们需要查看其虚拟的文件系统目录及内容,这时就需要用到浏览器,可以使用虚拟机的内置浏览器,即火狐浏览器,也可以使用本地机器的浏览器。...
  • Haiyang_Duan
  • Haiyang_Duan
  • 2016年11月22日 16:43
  • 7371
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop2.x HDFS Shell命令
举报原因:
原因补充:

(最多只允许输入30个字)