hadoop常用命令总结

查看文件
hadoop fs -ls file:///root/ 
hadoop fs -ls /user/hadoop/file1

创建目录
hadoop fs -mkdir –p /user/hadoop/dir1

将单个src或多个srcs从本地文件系统复制到目标文件系统。
-p：保留访问和修改时间，所有权和权限。
-f：覆盖目的地（如果已经存在）
hadoop fs -put -f localfile1 localfile2 /user/hadoop/hadoopdir

将文件复制到本地文件系统
-ignorecrc：跳过对下载文件的CRC检查。
-crc：为下载的文件写CRC校验和。
hadoop fs -get hdfs://host:port/user/hadoop/file localfile

追加一个文件到已经存在的文件末尾
hadoop fs -appendToFile localfile  /hadoop/hadoopfile

显示文件内容到stdout stderr
hadoop fs -cat  /hadoop/hadoopfile

将文件的最后一千字节内容显示到stdout。
hadoop  fs  -tail  /hadoop/hadoopfile

更改文件组的关联。用户必须是文件的所有者，否则是超级用户。
hadoop fs -chgrp othergroup /hadoop/hadoopfile

改变文件的权限。使用-R将使改变在目录结构下递归进行。
hadoop  fs  -chmod  666  /hadoop/hadoopfile

改变文件的拥有者。
hadoop  fs  -chown  someuser:somegrp   /hadoop/hadoopfile

从本地文件系统中拷贝文件到hdfs路径去
hadoop  fs  -copyFromLocal  /root/1.txt  /

从hdfs拷贝到本地
hadoop fs -copyToLocal /aaa/jdk.tar.gz

从hdfs的一个路径拷贝hdfs的另一个路径
hadoop  fs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

在hdfs目录中移动文件 
hadoop  fs  -mv  /aaa/jdk.tar.gz  /

合并下载多个文件
hadoop fs -getmerge /aaa/log.*  ./log.sum

删除指定的文件。只删除非空目录和文件。-r 递归删除。
hadoop fs -rm -r /aaa/bbb/

统计文件系统的可用空间信息
hadoop  fs  -df  -h  /

显示目录中所有文件大小，当只指定一个文件时，显示此文件的大小。
hadoop fs -du /user/hadoop/dir1

改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
-w 副本的个数
-R 递归

hadoop archive -archiveName zoo.har -p /foo/bar /outputdir
-archiveName 归档文件名称 
-p 来源 对谁归档
path 将归档文件放在何处

限额
创建hdfs文件夹
hadoop fs -mkdir -p /user/root/lisi     

给该文件夹下面设置最多上传两个文件，上传文件，发现只能上传一个文件
hdfs dfsadmin -setQuota 2 lisi  #如果/user/root文件可以相对路径    

清除文件数量限制
hdfs dfsadmin -clrQuota /user/root/lisi  
 
数量限额
hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi   # 限制空间大小4KB
hdfs dfs -put  /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi

空间大小限额
hdfs dfsadmin -clrSpaceQuota /user/root/lisi   #清除空间限额
hdfs dfs -put  /export/softwares/zookeeper-3.4.5-cdh5.14.0.tar.gz /user/root/lisi

查看hdfs文件限额数量
hdfs dfs -count -q -h /user/root/lisi