Hadoop2.x HDFS Shell命令

转载 2015年11月19日 10:30:36


Hadoop2 HDFS shell命令

 

1. hdfs dfs -appendToFile <localsrc> ... <dst>

 

可同时上传多个文件到HDFS里面

 

2.  hdfs dfs -cat URI [URI ...]

 

查看文件内容

 

3. hdfs dfs -chgrp [-R] GROUP URI [URI ...]

 

修改文件所属组

 

4.  hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

 

修改文件权限

 

5. hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

 

修改文件所有者,文件所属组,其他用户的读、写、执行权限

 

6. hdfs dfs -copyFromLocal <localsrc> URI

 

复制文件到hdfs

 

7.  hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

 

复制文件到本地

 

8. hdfs dfs -count [-q] <paths>

 

统计文件及文件夹数目

 

9.  hdfs dfs -cp [-f] URI [URI ...] <dest>

 

Hadoop HDFS 文件系统间的文件复制

 

10. hdfs dfs -du [-s] [-h] URI [URI ...]

 

统计目录下的文件及大小

 

 

 

11. hdfs dfs -dus <args>

 

汇总目录下的文件总大小

 

12.  hdfs dfs -expunge

 

清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除

 

13. hdfs dfs -get [-ignorecrc] [-crc] <src> <localdst>

 

下载文件到本地

 

14. hdfs dfs -getfacl [-R] <path>

 

查看ACL (访问权限拥有者)

 

15. hdfs dfs -getmerge <src> <localdst> [addnl]

 

合并下载文件到本地

 

16. hdfs dfs -ls <args>

 

查看目录

 

17. hdfs dfs -lsr <args>

 

循环列出目录、子目录及文件信息 

 

18. hdfs dfs -mkdir [-p] <paths>

 

创建空白文件夹

 

19.  dfs -moveFromLocal <localsrc> <dst>

 

剪切文件到hdfs

 

20.  hdfs dfs -moveToLocal [-crc] <src> <dst>

 

剪切文件到本地

 

21. hdfs dfs -mv URI [URI ...] <dest>

 

剪切hdfs文件

 

22. hdfs dfs -put <localsrc> ... <dst>

 

上传文件

 

23. hdfs dfs -rm [-skipTrash] URI [URI ...]

 

删除文件/空白文件夹

 

24.  hdfs dfs -rmr [-skipTrash] URI [URI ...]

 

递归删除  删除文件及文件夹下的所有文件

 

25. hdfs dfs -setfacl [-R] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]

 

Sets Access Control Lists (ACLs) of files and directories.

Options:

  • -b: Remove all but the base ACL entries. The entries for user, group and others are retained for compatibility with permission bits.
  • -k: Remove the default ACL.
  • -R: Apply operations to all files and directories recursively.
  • -m: Modify ACL. New entries are added to the ACL, and existing entries are retained.
  • -x: Remove specified ACL entries. Other ACL entries are retained.
  • --set: Fully replace the ACL, discarding all existing entries. The acl_spec must include entries for user, group, and others for compatibility with permission bits.
  • acl_spec: Comma separated list of ACL entries.
  • path: File or directory to modify.

Examples:

  • hdfs dfs -setfacl -m user:hadoop:rw- /file
  • hdfs dfs -setfacl -x user:hadoop /file
  • hdfs dfs -setfacl -b /file
  • hdfs dfs -setfacl -k /dir
  • hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
  • hdfs dfs -setfacl -R -m user:hadoop:r-x /dir
  • hdfs dfs -setfacl -m default:user:hadoop:r-x /dir

Exit Code:

Returns 0 on success and non-zero on error.

 

 

26.  hdfs dfs -setrep [-R] [-w] <numReplicas> <path>

 

修改副本数

 

27. hdfs dfs -stat URI [URI ...]

 

显示文件统计信息

 

28.  hdfs dfs -tail [-f] URI

 

查看文件尾部信息

 

29. hdfs dfs -test -[ezd] URI

 

PATH进行如下类型的检查: 

-e PATH是否存在,如果PATH存在,返回0,否则返回

-z 文件是否为空,如果长度为0,返回0,否则返回

-d 是否为目录,如果PATH为目录,返回0,否则返回

 

30. hdfs dfs -text <src>

 

查看文件内容

 

31.  hdfs dfs -touchz URI [URI ...]

 

创建长度为0的空文件


原文地址:http://weir2009.iteye.com/blog/2082235

相关文章推荐

【HDFS】Hadoop2.x HDFS shell命令

1. hdfs dfs -appendToFile ...   可同时上传多个文件到HDFS里面   2.  hdfs dfs -cat URI [URI ...]   查看文件内容   3. h...

Hadoop2 HDFS shell命令

Hadoop2 HDFS shell命令   1. hdfs dfs -appendToFile ...   可同时上传多个文件到HDFS里面   2.  hdfs dfs -cat URI [U...

hadoop2.X之HDFS集群管理:ReplicationMonitor

原文出自云台博客:http://yuntai.1kapp.com/?p=930       ReplicationMonitor在HDFS中的工作相当重要,首先不仅会负责为副本不足的数据块选择s...

Hadoop2.X HDFS架构

概述:DHFS是一个基于廉价硬件基础设施的高度容错性的分布式文件系统.HDFS由Apache Nutch项目演化而来.现阶段HDFS作为大数据存储解决方案,拥有众多的受益企业和个人,学习势在必行. ...

Hadoop2.x之HDFS HA Federation

hadoop2.x HA和Federation的介绍

hadoop2.x HDFS快照介绍

翻译自Apache官方文档,Hadoop2.x版本的snapshot快照功能介绍。

hadoop2.x新特性HDFS HA、YARN HA,分布式搭建

前期准备就不详细说了,课堂上都介绍了 一、.修改Linux主机名:所有主机上的主机名必须一致 sudo gedit /etc/hostname 2.修改IP:刚建好的虚拟机的ip是动态的每次重...

Hadoop2.X配置管理1-HDFS安装配置单机版

HDFS:分布式文件系统(Hadoop Distributed File System)的缩写,是大数据分析中对文件的分布式存储的基础支持。这里主机价绍单机部署HDFS系统的安装与配置步骤,用以指导初...
  • Lusoel
  • Lusoel
  • 2016年12月26日 16:05
  • 340

Hadoop2.x:HDFS存储小文件问题及其解决方法

HDFS设计的初衷是存储大文件,如果单个DataNode有12块2T的硬盘,则有存储空间24T,如果每个块100M,则可存储251658,如果每个块50M,则可存储503316. DataNode会向...

Ubuntu16 搭建 Hadoop2.x HDFS 源码测试环境

由于整个 Hadoop 源代码过于臃肿,此处搭建 HDFS 源码分析环境,分析 HDFS 源码,为后续分析 MapReduce 和 Yarn 等作基础。1. 下载 hadoop-2.7.3.tar.g...
  • Mark_LQ
  • Mark_LQ
  • 2016年12月20日 15:59
  • 656
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hadoop2.x HDFS Shell命令
举报原因:
原因补充:

(最多只允许输入30个字)