spark hdfs 常用命令

以下按照使用频率和使用先后顺序排序（纯个人习惯）

ls

列出hdfs文件系统路径下的目录和文件

hdfs dfs -ls <路径>

列出hdfs文件系统路径下所有的目录和文件

hdfs dfs -ls -R <路径>

rm

hadoop fs -rm < hdfs file > ...
hadoop fs -rm -r < hdfs dir>...

每次可以删除多个文件或目录

get

local file不能和hdfs file名字不能相同，否则会提示文件已存在，没有重名的文件会复制到本地

hdfs dfs -get <hdfs file> <local file or dir>

拷贝多个文件或目录到本地时，本地要为文件夹路径

hadoop fs -get < hdfs file or dir > ... < local  dir >

注意：如果用户不是root， local 路径要为用户文件夹下的路径，否则会出现权限问题

text

将文本文件或某些格式的非文本文件通过文本格式输出

hadoop fs -text < hdsf file> text
hadoop fs -text < hdsf file>

配合重定向比较快