Hadoop 之HDFS常用命令

Hadoop组件之HDFS常用命令

Hadoop作为大数据基础组件，解决了海量数据的存储（HDFS）和计算(Map-Reduce)问题。虽然Map-Reduce计算已经很少在生产中使用，但是关于HDFS的一些常用命令还是需要掌握的。HDFS命令有两种方式 一种是hdfs dfs -ls / 一种是hadoop fs -ls / 根据个人喜好用就可以了。下面列出一些常用命令。
（1）-help：输出这个命令参数
bin/hdfs dfs -help rm
（2）-ls: 显示目录信息
hadoop fs -ls /
（3）-mkdir：在hdfs上创建目录
hadoop fs -mkdir -p /hdfs路径
（4）-moveFromLocal从本地剪切粘贴到hdfs
hadoop fs - moveFromLocal 本地路径 /hdfs路径
（5）–appendToFile ：追加一个文件到已经存在的文件末尾
hadoop fs -appendToFile 本地路径 /hdfs路径
（6）-cat ：显示文件内容
hadoop fs -cat /hdfs路径
（7）-tail -f：监控文件
hadoop fs -tail -f /hdfs路径
（8）-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限
hadoop fs -chmod 777 /hdfs路径
hadoop fs -chown someuser:somegrp /hdfs路径
（9）-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径
hadoop fs -cp /hdfs路径1 / hdfs路径2
（10）-mv：在hdfs目录中移动/重命名 文件
hadoop fs -mv /hdfs路径 / hdfs路径
（11）-get：等同于copyToLocal，就是从hdfs下载文件到本地
hadoop fs -get / hdfs路径 ./本地路径
（12）-getmerge ：合并下载多个文到linux本地，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…（注：是合成到Linux本地）
hadoop fs -getmerge /aaa/log.* ./log.sum
合成到不同的目录：hadoop fs -getmerge /hdfs1路径 /hdfs2路径 /
（13）-put：等同于copyFromLocal
hadoop fs -put /本地路径 /hdfs路径
（14）-rm：删除文件或文件夹
hadoop fs -rm -r /hdfs路径
（15）-df ：统计文件系统的可用空间信息
hadoop fs -df -h / hdfs路径
（16）-du统计文件夹的大小信息
[itstar@bigdata111 hadoop-2.8.4]$ hadoop fs -du -s -h / hdfs路径
188.5 M /user/itstar/wcinput

[itstar@bigdata111 hadoop-2.8.4]$ hadoop fs -du -h / hdfs路径
188.5 M / hdfs路径
97 / hdfs路径
（17）-count：统计一个指定目录下的文件节点数量
hadoop fs -count /aaa/
[itstar@bigdata111 hadoop-2.8.4]$ hadoop fs -count / hdfs路径
1 2 197657784 / hdfs路径
嵌套文件层级； 包含文件的总数
（18）-setrep：设置hdfs中文件的副本数量：3是副本数，可改
hadoop fs -setrep 3 / hdfs路径 关于这个命令需要注意一点就是文件扶额不能个数由实际节点控制 比如你只有3个节点那设置10个副本也只会有3个副本除非节点拓展到10个。
一些补充的命令
获取NameNode的节点名称（可能有多个）：hdfs getconf -namenodes
获取hdfs最小块信息：hdfs getconf -confKey dfs.namenode.fs-limits.min-block-size
查找hdfs的NameNode的RPC地址：hdfs getconf -nnRpcAddresses
查看hdfs dfsadmin的帮助信息：hdfs dfsadmin
借助help查看具体命令的帮助信息：hdfs dfsadmin -help safemode
查看当前的模式：hdfs dfsadmin -safemode get
进入/退出安全模式：hdfs dfsadmin -safemode enter # 进入安全模式
hdfs dfsadmin -safemode leave #退出安全模式
fsck指令显示HDFS块信息：hdfs fsck /02-041-0029.mp4 -files -blocks -locations # 查看文件02-041-0029.mp4的块信息
检查压缩库本地安装情况：hadoop checknative
格式化名称节点（慎用，一般只在初次搭建集群，使用一次；格式化成功后，不要再使用）：hadoop namenode -format
执行自定义jar包：hadoop jar xxx/hadoop-2.6.0-cdh5.14.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar pi 10 10
yarn jar xxx/hadoop-2.6.0-cdh5.14.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar pi 10 10