Hadoop中hdfs与yarn命令大全

前言：

随着大数据平台的不断发展，我们对hadoop使用也越来越多。同时hadoop许多命令在使用时会产生遗忘和参数选择的问题出现。本文将hadoop平台上的hdfs与yarn常用命令进行汇总解释。

一  hdfs基本语法

hadoop中hdfs命令格式分为两种，一种为hadoop fs 具体命令或者是 hdfs dfs 具体命令。两种格式都能够实现对hdfs进行操作，且实现效果是完全相同。

二  hdfs常用命令

2.1 文件的上传与下载

文件的上传与下载

命令	解释	示例
-moveFromLocal	从本地剪切到HDFS文件系统	hadoop fs  -moveFromLocal dir1 dir2
-copyFromLocal	从本地拷贝（复制）到HDFS文件系统	hadoop fs  -copyFromLocal dir1 dir2
-put	从本地拷贝（复制）到HDFS文件系统	hadoop fs -put dir1 dir2
-appendToFile	追加一个文件到已经存在的文件末尾	hadoop fs -appendToFile dir1 dir2
-copyToLocal	从HDFS下载文件到本地系统	hadoop fs -copyToLocal dir1 dir2
-get	从HDFS下载文件到本地系统	hadoop fs -get dir1 dir2

2.2 HDFS对文件直接操作

文件直接操作

命令	解释	示例
-ls	显示目录信息	hadoop fs -ls dir1
-cat	显示文件内容	hadoop fs -cat dir1
-chgrp，-chomd，-chown	修改文件权限（与liunx 系统使用方式一样）	hadoop fs -chmod 777
-mkdir	创建路径	hadoop fs -mkdir dir1
-cp	从一个位置复制文件到另一个位置	hadoop fs -cp dir1 dir2
-mv	在HDFS目录中移动文件	hadoop fs -mv dir1 dir2
-tail	显示一个文件的末尾 1kb的数据	hadoop fs -tail dir1
-rm	删除文件或文件夹	hadoop fs -rm dir1
-rm -r	递归删除目录及目录里面的内容	hadoop fs -rm -r dir1
-du	统计文件夹的大小信息	hadoop fs -du dir1
-setrep	设置HDFS中文件的副本数量	hadoop fs -setrep 10 dir1

二   Yarn常用命令

        Yarn状态的查询，可以在对应的客户端页面进行查看，还可以通过命令操作，常用命令如下所示。

2.1 yarn application 查看任务

yarn application 查看任务命令

命令	解释
yarn application -list	列出所有的Application
yarn application -list -appStates 状态有（ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）	根据Application状态进行过滤展示
yarn application -kill <ApplicationId>	根据applicationid号kill掉application

2.2 yarn logs查看日志

yarn logs查看日志

命令	解释
yarn logs -applicationId <ApplicationId>	查看对应的application日志
yarn logs -applicationId <ApplicationId> -containerId <ContainerId>	查看对应container日志

2.3 yarn applicationattempt查看尝试运行的任务

yarn applicationattempt查看尝试运行的任务

命令	解释
yarn applicationattempt -list <ApplicationId>	列出所有Application尝试的列表
yarn applicationattempt -status <ApplicationAttemptId>	打印ApplicationAttemp状态

2.4  yarn container查看容器

yarn container查看容器

命令	解释
yarn container -list <ApplicationAttemptId>	列出所有Container
yarn container -status <ContainerId>	打印Container状态

2.5  yarn node查看节点状态

yarn node查看节点状态

命令	解释
yarn node -list -all	列出所有节点信息

2.6  yarn rmadmin更新配置 yarn queue查看队列

命令	解释
yarn rmadmin -refreshQueues	加载队列配置
yarn queue -status <QueueName>	打印队列信息

yarn的主要使用还是在客户端页面8088对其进行直接操作。

hdfs文件系统很多命令与liunx命令的使用方式相同，可以在客户端进行操作也可以在命令行进行操作。