HDFS常用命令

hadoop fs类似于hdfs dfs

1. 如何查看hdfs子命令的帮助信息，如rmdir子命令

hdfs dfs -help rmdir

2. 查看hdfs文件系统中已经存在的文件

hdfs dfs -ls /

hadoop fs -ls /

3. 在hdfs文件系统中创建文件

hdfs dfs -touchz /a.txt

4. 从本地路径上传文件至HDFS

hdfs dfs -put /本地路径 /hdfs路径

5. 在hdfs文件系统中下载文件

hdfs dfs -get /hdfs路径 /本地路径

6. 在hdfs文件系统中删除文件

hdfs dfs -rm /a.txt

7. 在hdfs文件系统中查看文件内容

hdfs dfs -cat /a.txt

8. 在hdfs文件系统中创建目录

hdfs dfs -mkdir /shell

9. 在hdfs文件系统中修改文件名称（也可以用来移动文件到目录）

hdfs dfs -mv /xcall.sh /call.sh

hdfs dfs -mv /call.sh /shell

10. 在hdfs中拷贝文件到目录

hdfs dfs -cp /a.txt /shell

11. 递归删除目录

hdfs dfs -rmr /shell

12. 列出本地文件的内容（默认是hdfs文件系统）

hdfs dfs -ls file:///home/bruce/

13. 追加文件内容到hdfs文件系统中的文件

hdfs dfs -appendToFile a.txt /b.txt

14.查看文件的块信息

hdfs fsck /a.txt -files -blocks -locations

15.设置文件的副本数

hadoop fs -setrep -R 4 /path

2. hdfs与getconf结合使用

1. 获取NameNode的节点名称（有多个）

hdfs getconf -namenodes

2. 获取hdfs最小块信息

hdfs getconf -confKey dfs.namenode.fs-limits.min-block-size

3. 查找hdfs的NameNode的RPC地址

hdfs getconf -nnRpcAddresses

3. hdfs与dfsadmin结合使用

1. 查看hdfs dfsadmin的帮助信息

hdfs dfsadmin

2. 查看当前的模式

hdfs dfsadmin -safemode get

3. 进入安全模式

hdfs dfsadmin -safemode enter

4. hdfs与fsck结合使用

1. fsck指令显示HDFS块信息

hdfs fsck / -files -blocks

hdfs fsck /a.txt -files -blocks -locations

5. 其他命令

1. 检查压缩库本地安装情况

hadoop checknative

2. 格式化名称节点（慎用，一般只在初次搭建集群，使用一次）

hadoop namenode -format

3. 执行自定义jar包 hadoop jar .jar包 输入路径 输出路径

hadoop jar xxx.jar com.cf.hadoop.WordCount  /world.txt  /out

 

#1.查看正在运行的任务

yarn application -list

#2.杀掉正在运行任务

yarn application -kill 任务id

#3.查看节点列表

yarn node -list

#4.查看节点状况；所有端口号与上图中端口号要一致（随机分配）

yarn node -status node3:45568