一般操作Hadoop集群都是使用相关的Hadoop命令,比如文件上传、下载,文件夹新建、删除、拷贝等。大多数Hadoop集群的相关命令类别如下表所示。
种类 | 命令 | 解释 | 示例 |
HDFS
| Hadoop fs/hdfs dfs / hadoop dfs | 运行一个hadoop支持的文件系统命令 | hdfs dfs -mkdir |
fetchdt | 从NameNode获取授权令牌 |
| |
fsck | HDFS文件检查工具 | hdfs fsck /user/root | |
version | 打印HDFS版本 |
| |
balancer | 集群负载均衡工具类 |
| |
datanode | 执行datanode相关命令 | Hdfs dfsadmin -rollback | |
dfsadmin | 运行一个HDFS的管理员客户端 | hdfs dfsadmin -report | |
mover | 数据整合工具 |
| |
namenode | 执行namenode相关命令 | hdfs namenode -format-clusterid clusterId | |
Secondarynamenode | 执行secondarynamenode相关命令 | Hdfs secondarynamenode check -point | |
mapreduce
| pipes | 执行一个管道任务 | mapred pipes -program executable |
job | Mapreduce任务相关 | mapred job -kill job -id | |
queue | 查看mapreduce任务队列信息 | mapred queue -list | |
classpath | 打印hadoop运行时classpath | mapred classpath | |
distcp | 分布式拷贝文件或文件夹 |
| |
archive | 创建一个hadoop的压缩文件 |
| |
historyserver | 启动jobhistoryserver | mapred historyserver | |
hsadmin | 启动一个mapreduce hsadmin客户端执行jobhistoryserver相关命令 | Mapred hsadmin -refreshAdminAcls | |
YARN
| jar | 执行一个jar文件 | yarn jar <jar> [mainClass] args... |
application | 打印应用输出或关闭任务 | yarn application -list | |
node | 打印节点信息 | yarn node -list | |
logs | 打印contain日志 | yarn logs-applicationId <applicationID> | |
classpath | 打印任务运行时相关jar包路径 | yarn classpath | |
version | 打印版本 | yarn version | |
resourcemanager | 执行resourcemanager相关操作 | yarn resourcemanager -format-state-store | |
nodemanager | 启动nodemanager | yarn nodemanager | |
proxyserver | 启动网页代理服务器 | yarn proxyserver | |
rmadmin | 启动resourcemanager管理员客户端 | yarn rmadmin -refreshNodes | |
daemonlog | 设置/获取后台进程日志级别 | Yarn daemonlog -setleve <host:port> <name> <level> |