HDFS Command List

参数	作用	示例
appendToFile	将一个或者多个本地 文件追加到目的文件	hadoop fs -appendToFile localfile /user/hadoop/hadoopfile
cat	输出文件	hadoop fs -cat file:///file3 /user/hadoop/file4
chgrp	改变文件的分组	hadoop fs -chgrp [-R] GROUP URI [URI ...]
chmod	改变文件的权限	hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
chown	改变文件的拥有者	hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
copyFromLocal	从本地复制
copyToLocal	复制到本地
count	得到文件/目录等数目 追加参数-q, -h有不同的意义	hadoop fs -count -q hdfs://nn1.example.com/file1
cp	复制，参数-f,-p	hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
du	得到指定文件的大小	hadoop fs -du /test/hadoop
dus	已摒弃，和du类似
expunge	清空回收站	hadoop fs -expunge
get	复制文件到本地路径下	hadoop fs -get /user/hadoop/file localfile
getfacl	显示文件或者目录的权限控制列表	hadoop fs -getfacl /file hadoop fs -getfacl -R /dir
getfattr	显示文件或者目录的扩展属性	hadoop fs -getfattr -d /file
getmerge	合并多个文件一个目标文件里	hadoop fs -getmerge <src> <localdst> [addnl]
ls	和linux里一样	hadoop fs -ls /user/hadoop/file1
lsr	等同于ls -R
mkdir	创建目录，-p创建多层目录	hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
moveFromLocal	类似put，区别在于put完后删除 原文件
moveToLocal	目前没有实现
mv	移动文件	hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
put	像目标目录推送文件	hadoop fs -put localfile /user/hadoop/hadoopfile
rm	删除文件	hadoop fs -rm hdfs://nn.example.com/file /user/hadoop/emptydir
rmr	类似于rm -r
setfacl	设置文件或者目录的权限控制列表	hadoop fs -setfacl -m user:hadoop:rw- /file
setfattr	设置文件或者目录的扩展属性	hadoop fs -setfattr -n user.myAttr -v myValue /file
setrep	改变文件和目录的复制因子	hadoop fs -setrep -w 3 /user/hadoop/dir1
stat	返回路径信息	hadoop fs -stat path
tail	输出文件的最后1千字节	hadoop fs -tail pathname
test	检查文件	hadoop fs -test -e filename
text	以文本方式输出文件	hadoop fs -text <src>
touchz	创建空文件	hadoop fs -touchz pathname
classpath	打印得到hadoop jar和所需类库的class路径	hadoop classpath
fsck	诊断文件系统健康状态的工具，能够帮助发现丢失的文件或数据块。	parmeters :-delete 删除损坏的文件。 -files 打印被诊断的文件。 -files-blocks 打印被诊断的文件的块信息。 -files-blocks-locations 打印每个块的位置信息。 -files-blocks-racks 打印数据块的网络拓扑结构 -includeSnapshots 如果给定的路径包含快照的路径或者快照在该路径下，则包含快照的数据。 -list-corruptfileblocks 打印丢失的块列表以及块所属的文件。 -move 移动损坏的文件到/lost+found目录。 -openforwrite 打印正在被写入的文件。
fetchdt	hdfs脚本支持fetchdt命令来获取DelegationToken（授权标识），并存储在本地文件系统的一个文件中。这样“非安全”的客户端可以使用该标识去访问受限的服务器（例如NameNode）。可以采用RPC或HTTPS(over Kerberos)方式获取该标示，在获取之前需要提交Kerberos凭证（运行kinit来获得凭证）。当你获得授权标识后，通过指定环境变量HADOOP_TOKEN_FILE_LOCATION为授权标识文件名，你就可以运行HDFS命令，而不需要Kerberros凭证了。	hadoop fetchdt [--webservice <namenode_http_addr>] <path>
getconf(需要系统配置， 否则无法使用)	获取配置信息	parameters：-namenodes 在集群中获取NameNode列表。 -secondaryNameNodes 在集群中获取secondaryNameNode列表 -backupNodes 在集群中获取backup node节点列表。 -includeFile 获取dfs.hosts配置的值，该值定义了哪些DataNode加入到集群。 -excludeFile 获取dfs.hosts.exclude配置的值，该值定义了哪些DataNode排除在集群之外。 -nnRpcAddresses 获取Namenode的RPC地址 -confKey[key] 获取配置文件中的值。
discp	远程传输--从哪里传输到哪里	hadoop distcp maprfs:///mapr/HPEHOU4-shared-dev/clickhpe/test hdfs://g4t7508.houston.hpecorp.net:8020/clickhpe
jar	提交Jar包， 运行MapReduce任务	hadoop jar [Main Class] args