源码实战之HDFS

1，archive

使用方法：hadoop archive - archiveNamename <src>* <dest>

说明：创建一个hadoop档案文件(归档小文件)

例子： hadoop archive -archiveName taobao.har -p /input/1/ /input/

2， distcp

使用方法：hadoop distcp <src1> <src2>

说明:在相同的文件系统中并行的复制文件

例子： hadoop distcp /user/zhang01/README.txt /input/

3，fs

使用方法： hadoop fs [命令]

说明：运行文件命令

4，jar

使用方法： hadoop jar <jar> [mainclass] args

说明：运行hadoop的jar文件

hdfs文件18个基本命令

1，-cat

使用方法： hadoop fs -cat uri

说明：将路径指定的文件输出到屏幕

例子： hadoop fs -cat /input/aaa.txt

2，-copyFromLocal

使用方法：hadoop fs -copyFromLocal <localsrc>uri  <dest>

说明：将本地文件复制到hdfs

例子: hadoop fs -copyFromLocal /home/zhang01/apache-hive-0.13.1-bin/README.txt /input/1/

3,-copyToLocal

使用方法：hadoop fs -copyToLocal src dest

说明：将hdfs文件复制到本地

例子： hadoop fs -copyToLocal /input/1/README.txt /home/zhang01

4，-cp

使用方法：hadoop fs -cp uri

说明：将源文件从源路径复制到目标路径，可以有多个源路径但只能左右一个目标路径。

例子： hadoop fs -cp /input/aaa.txt /input/bbb.txt /input/2

5，-du

使用方法：hadoop fs -du uri

说明：显示目录中所有文件大小或者指定文件大小。

例子： hadoop fs -du /input

6，-dus

使用方法：hadoop fs -dus uri

说明：显示目录中所有文件总共大小或者指定文件大小。

例子： hadoop fs -dus /input

7，-expunge

使用方法：hadoop fs - expunge

说明：清空回收站。

例子： hadoop fs -expunge

8，-get

使用方法：hadoop fs - get src dest

说明：复制hdfs上文件到本地。

例子： hadoop fs -get /input/aaa.txt /home/zhang01/

9，-ls

显示文件

10，-lsr

递归显示，也就是文件夹下的也显示

11，-mkdir

创建目录

12，-mv

移动文件

13，-put

上传文件到hdfs

14，-rm

删除文件

15，-rmr

递归删除文件

16，setrep

改变文件副本数

hadoop fs -setrep 1 /input/aaa.txt

17，-test

使用ezd对文件进行检查。

e：是否存在，存在返回0.

z：检查文件是否0字节

HDFS文件访问权限

只读权限-r

写入权限-w

读写权限-rw

执行权限-x

namenode对hdfs的目录和文件的源数据进行管理， datanode则是对文件进行存储和处理的具体工作节点。