大数据—HDFS常用命令

目录

• HDFS的定义
• 三种Shell命令方式
• hadoop常用命令
  创建
  查看
  wc命令
  文件操作
  删除
• HDFS文件权限

---

HDFS的定义：

HDFS是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间。HDFS只是分布式文件管理系统中的一种。
HDFS的适用场景：适合一次写入，多次读出的场景，且不支持文件的修改。

---

开启集群

• start-dfs.sh
• start-all.sh 全部开启

关闭集群

• stop-dfs.sh
• stop-all.sh 全部关闭

---

Shell命令方式：

hadoop fs	适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统。
hdfs dfs	用法相同，只能适用于HDFS文件系统。

---

hadoop常用命令

创建

创建目录

• –mkdir

创建目录
hdfs dfs –mkdir /文件

递归创建

• -mkdir -p

递归创建
hdfs dfs -mkdir -p /hdfs/fs

---

查看

查看目录

• -ls

查看目录
hdfs dfs –ls /

查看文件

• -cat

查看文件
hdfs dfs –cat /文件 (填绝对路径)

查看数据行

• head

查看前几行数据
hdfs dfs –cat /文件 | head -5

• tail

查看后几行数据
hdfs dfs –cat /文件 | tail -5

搜索文件

• -find

从根目录下精确搜索文件,返回查找的文件路径
hdfs dfs -find / -name 要搜索的文件名
从指定目录下搜索名称中包含ex字符串的文件
hdfs dfs -find /指定的目录 -name “ex”

查看文件夹的大小信息

• -du

查看文件夹的大小信息
hdfs dfs -du /文件路径
hdfs dfs -du -h /文件 (-h 文件大小转化显示)

统计目录下文件夹数量 文件数量 目录下文件总字节数。

• -count

统计目录下文件夹数量 文件数量 目录下文件总字节数。
hdfs dfs -count /要统计的目录
结果每列含义：==目录数 文件数 总大小（字节） 目录名称

---

wc命令

wc命令统计指定文件中的行数、字数、字节数，并将统计结果显示输出

wc命令的用法：
hdfs dfs –cat /文件 | wc -参数

• 命令参数：

• 命令参数：
• -c 统计字节数。
• -l 统计行数。
• -m 统计字符数。
• -w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。
• -L 打印最长行的长度。
• 查看前几行数据
  hdfs dfs –cat /文件 | head -5
• 查看后几行数据
  hdfs dfs –cat /文件 | tail -5

---

文件操作

本地文件上传到hdfs下的test目录

• -put

本地文件上传到hdfs下的test目录
hdfs dfs –put /文件 /test

从hdfs上把文件复制到本地 -get

• -get

从hdfs上把文件复制到本地
hdfs dfs -get /hdfs文件 /本地文件存放路径

hdfs中移动文件和目录

• -mv

移动文件和目录 文件到文件夹：是移动
hdfs dfs -mv /源目录 /目标目录

文件重命名

• -mv

文件到文件：是重命名
hdfs dfs /Hello /user/Hello word

从HDFS的一个路径拷贝到HDFS的另一个路径

• -cp

从HDFS的一个路径拷贝到HDFS的另一个路径
hdfs dfs -cp /要拷贝的文件 /目标路径

更改用户组和用户

• -chown

要指定的用户:要制定的用户组 /要指定的文件名
hdfs dfs -chown

---

删除操作

删除文件

• -rm

删除文件
hdfs dfs –rm /文件路径

删除目录

• -rmdir

删除目录
hdfs dfs -rmdir /目录名

递归删除目录及目录里面内容

• -rm -r -f

递归删除目录及目录里面内容
hadoop fs -rm -r -f /要删除的文件

清空hdfs的回收站

• -expunge

清空hdfs的回收站
hdfs dfs -expunge

• 功能概述
  Trash机制，叫做回收站或者垃圾桶，默认情况下是不开启的。
  Trash中的文件在用户可配置的时间延迟后被永久删除。也可以简单地将回收站里的文件移动到.Trash目录之外的位置来恢复回收站中的文件和目录。

---

HDFS文件权限

• drwxr-xr-x 表示该文件的权限，" - "代表其大小，root 和 supergroup 代表该文件所属用户和用户组，再后面是该文件最后修改时间和文件名信息。

• 其中权限分为三组分别代表该用户、用户组、其它用户对该文件的权限。

关于文件的权限说明如下：

若要 rwx	则 4+2+1=7
若要 rw-	则 4+2=6
若要 r-x	则 4+1=5
若要 r–	则 = 4
若要 -wx	则 2+1=3
若要 -w-	则 =2
若要 - -x	则 =1
若要 - - -	则 =0

1. r 表明该文件有可读权限，
2. w代表有可写权限，
3. x代表有可执行权限。
   如上可以使用4，2，1三个数据的组合相加来表示这些权限。
   三组rwx分别代表该用户、用户组、其它用户对该文件的权限。

• -chmod 777
  设置用户的权限
  hdfs dfs -chmod 777 /文件

---