HDFS的shell操作

基本语法

hadoop fs   命令  
OR
hdfs dfs  命令

通过 hadoop fs或者hdfs dfs 可以看到一些具体的参数
也可以通过help帮助，查看命令的具体参数

HDFS上传下载

# 创建文件夹
hadoop fs -mkdir /test
# 上传
# 剪切本地文件到hdfs中
hadoop fs -moveFromLocal test.txt /test/
# 拷贝本地文件到hdfs中
hadoop fs -copyFromLocal test.txt /test/
# -put 相当于copyFromLocal
hadoop fs -put test.txt /test/
# 最佳一个文件到已经存在的文件的末尾
hadoop fs -appendToFile test.txt /test/text.txt
# 下载
# 从hdfs考本文件到本地
hadoop fs -copyToLocal /test/test.txt ./
# -get：等同于copyToLocal

HDFS操作

-ls：显示目录信息
-cat：显示文件内容
-chgrp：修改组信息
-chmod：修改权限
-chown：修改用户和用户组
-mkdir：创建目录
-rm：删除文件或者目录，-r参数递归删除目录
-cp：从hdfs中的一个目录中，拷贝到另外一个目录中
-mv：移动
-tail：查看文件的末尾1kb的数据
-du：统计文件夹的大小信息
[root@master ~]# hadoop fs -du /test
5   15  /test/test.txt
5代表了文件大小，15表示5*3个副本
# -setrep：设置HDFS中文件的副本数量
这里设置的副本数，只记录在NameNode的元数据中，是否真的会有那么多副本，要看DataNode的数量