Hadoop集群相关命令类别

      一般操作Hadoop集群都是使用相关的Hadoop命令,比如文件上传、下载,文件夹新建、删除、拷贝等。大多数Hadoop集群的相关命令类别如下表所示。

种类

命令

解释

示例

 

 

 

 

 

 

 

 

 

 

HDFS

 

 

 

 

 

 

 

 

 

Hadoop fs/hdfs dfs / hadoop dfs

运行一个hadoop支持的文件系统命令

hdfs dfs -mkdir

fetchdt

从NameNode获取授权令牌

 

fsck

HDFS文件检查工具

hdfs fsck /user/root

version

打印HDFS版本

 

balancer

集群负载均衡工具类

 

datanode

执行datanode相关命令

Hdfs dfsadmin -rollback

dfsadmin

运行一个HDFS的管理员客户端

hdfs dfsadmin -report

mover

数据整合工具

 

namenode

执行namenode相关命令

hdfs namenode -format-clusterid clusterId

Secondarynamenode

执行secondarynamenode相关命令

Hdfs secondarynamenode check -point

 

 

 

 

 

 

 

 

 

 

 

mapreduce

 

 

 

 

 

 

 

pipes

执行一个管道任务

mapred pipes -program executable

job

Mapreduce任务相关

mapred job -kill job -id

queue

查看mapreduce任务队列信息

mapred queue -list

classpath

打印hadoop运行时classpath

mapred classpath

distcp

分布式拷贝文件或文件夹

 

archive

创建一个hadoop的压缩文件

 

historyserver

启动jobhistoryserver

mapred historyserver

hsadmin

启动一个mapreduce hsadmin客户端执行jobhistoryserver相关命令

Mapred hsadmin -refreshAdminAcls

 

 

 

 

 

 

 

 

 

 

 

 

YARN

 

 

 

 

 

 

 

 

 

 

jar

执行一个jar文件

yarn jar <jar> [mainClass] args...

application

打印应用输出或关闭任务

yarn application -list

node

打印节点信息

yarn node -list

logs

打印contain日志

yarn logs-applicationId <applicationID>

classpath

打印任务运行时相关jar包路径

yarn classpath

version

打印版本

yarn version

resourcemanager

执行resourcemanager相关操作

yarn resourcemanager -format-state-store

nodemanager

启动nodemanager

yarn nodemanager

proxyserver

启动网页代理服务器

yarn proxyserver

rmadmin

启动resourcemanager管理员客户端

yarn rmadmin -refreshNodes

daemonlog

设置/获取后台进程日志级别

Yarn daemonlog -setleve <host:port> <name> <level>

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值