Hadoop 学习日记（二 —— HDFS 的常用 Shell 操作）

Hadoop 学习日记（二 —— HDFS 的常用 Shell 操作）

常用Shell命令（开发重点）

命令大全：

bin/hadoop fs

-help：输出这个命令参数，例输出rm参数：

hadoop fs -help rm

上传：

1），-moveFromLocal：从本地剪切到HDFS

hadoop fs -moveFromLocal [需要上传的本地文件路径] [上传到HDFS中的文件路径]

2），-put（-copyFromLocal）：从本地拷贝到HDFS

hadoop fs -put [需要上传的本地文件路径] [上传到HDFS中的文件路径]

3），-appendToFile：追加一个文件到已经存在的文件末尾

hadoop fs -appendToFile [需要追加的本地文件路径] [追加到HDFS中的文件的路径]

下载：

1），-get（-copyToLocal）：从HDFS拷贝到本地

hadoop fs -get [HDFS中的文件路径] [需要保存到的本地文件路径（可修改名称）]

.crc:.crc文件是数据的校验码

HDFS在发送数据前对数据进行加密，后面加上crc校验码；发送后再使用同样的crc校验算法对本地的crc校验码进行校验，一致则发送完成，否则发送不完整或失败。

HDFS直接操作：

1），-ls：显示目录信息

hadoop fs -ls [目录路径]

2），-cat：显示文件内容

hadoop fs -cat [文件路径]

3），-chgrp，-chmod，-chown：与Linux文件系统中的用法一样，修改文件所处权限

hadoop fs -chmod [......] [文件路径]

4），-mkdir：在HDFS中创建文件

hadoop fs -mkdir [文件名]

5），-cp：从HDFS的一个路径拷贝到HDFS的另一个路径

hadoop fs -cp [被拷贝的文件路径] [拷贝到......]

6），-mv：在HDFS目录中移动文件

hadoop fs -mv [被移动的文件路径] [移动到......]

7），-rm：删除文件或文件夹；-rm -r：递归删除目录及目录里面内容

hadoop fs -rm -r [被删除的文件路径]

8），-tail：显示一个文件的末尾1kb的数据

hadoop fs -tail [文件路径]

9），-du：统计文件夹的大小信息

hadoop fs -du -s -h [文件路径]

27表示文件大小，81表示27*3个副本；/jinguo表示查看的目录

hadoop fs -du -h [文件路径]

27表示文件大小，81表示27*3个副本；/jinguo表示查看的目录

hadoop fs -du -h [文件路径]