大数据2_08_HDFS的shell操作

2 HDFS的shell操作

hdfs操作的语法：

hadoop fs 和 hdfs dfs 一样都可

2.1 文件上传

# 1 复制上传
hadoop fs -put /本地文件路径 /hdfs路径
hadoop fs -copyFromLocal /本地文件路径 /hdfs路径【文件名】
不指定文件名就是默认以当前文件名上传到hdfs，指定文件名则上传并改名。
# 2 剪切上传
hadoop fs -moveFromLocal /本地文件路径 /hdfs路径【文件名】
# 3 追加一个文件内容到hdfs中的文件后
hadoop fs -appendToFile /本地文件路径 /hdfs文件

2.2 文件下载

# 1 下载到本地
hadoop fs -get /hdfs文件路径 /本地路径【文件名】
hadoop fs -copyToLocal /hdfs文件路径 /本地路径【文件名】
# 2 合并多个文件到本地
hadoop fs -getmeger /hdfs文件1 /hdfs文件2 ... /本地文件aaa

2.3 HDFS直接操作

# 1 显示目录信息
hadoop fs -ls /hdfs目录路径
# 2 显示目录及内部递归信息
hadoop fs -ls -R /hdfs目录路径
# 3 显示文件内容
hadoop fs -cat /hdfs文件名
# 4 修改文件所属权限
hadoop fs -chmod 777 /hdfs文件名
hadoop fs -chown 用户名:用户组 /hdfs文件名
hadoop fs -chgrp 新的用户组 /hdfs文件名
# 5 hdfs内文件复制
hadoop fs -cp /hdfs文件原路径 /hdfs文件新路径
# 6 hdfs移动文件
hadoop fs -mv /hdfs文件原路径 /hdfs文件新路径
# 7 hdfs文件删除
hadoop fs -rm /hdfs文件名
# 8 hdfs目录删除
hadoop fs -rm -r /hdfs目录名	（也可以递归删除内部内容）
hadoop fs -rmdir /hdfs目录名	（只删除空目录）
# 9 统计文件夹大小信息
hadoop fs -du -h /hdfs目录	（查看某目录下所有文件大小）
# 10 统计分区大小信息
hadoop fs -df -h 	（查看文件系统大小信息）
# 11 设置hdfs文件副本数
hadoop fs -setrep 个数 /hdfs文件名