Hadoop 用户命令详解

Hadoop 专栏收录该内容
8 篇文章 0 订阅

Hadoop 集群用户的常用命令

hadoop [–config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

archive

创建一个hadoop档案文件。

hadoop archive -archiveName NAME *

命令选项描述
-archiveName NAME要创建的档案的名字
src文件系统的路径名,和通常含正则表达式的一样
dest保存档案文件的目标目录

distcp

递归地拷贝文件或目录

hadoop distcp

命令选项描述
srcurl源URL
desturl目的URL

fs

hadoop fs [GENERIC OPTIONS] [COMMAND_OPTIONS]

运行一个常规文件系统客户端

命令详情参考:Hadoop FS 命令详解

fsck

运行HDFS文件系统检查工具

hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [files [-blocks [-locations | -racks]]]

命令选项描述
检查的起始目录
-move移动受损文件到/lost+found
-delete删除受损文件
-openforwrite打印出写打开的文件
-files打印出正被检查的文件
-blocks打印出块信息报告
-locations打印出每个块的位置信息
-racks打印出data-node的网络拓扑结构

jar

运行jar文件。用户可以把他们的Map Reduce代码打包到jar文件中,使用此命令执行。

hadoop jar [mainClass] args …

job

用于和Map Reduce作业交互的命令。

hadoop job [GENERIC_OPTIONS] [-submit ] [-status <job-id] | [-counter ] | [-kill ] | [-events <from-event-#> <#-of-events>] | [-history [all] ] | [-list [all]] | [kill-task ] | [-fail-task ]

命令选项描述
-submit 提交作业
-status 打印map和reduce完成百分比和所有计数器
-counter 打印计数器的值
-kill 杀死指定作业
-event <from-event-#> <#-of-events>打印给定范围内jobtracker接收到的事件细节
-history [all] [jobOutputDir]-history 打印作业的细节、失败以及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务,做过的任务尝试等信息可以通过指定[all]选项查看
-list [all]-list all 显示所有作业,-list 只显示将要完成的作业
-kill-task 杀死任务。被杀死的任务不会不利于失败尝试
-fail-task 使任务失败。失败的任务会对失败尝试不利

pipes

运行pipes作业

hadoop pipes [-conf ] [-jobconf <key=value>, <key=value>, …] [-input ] [-output ] [-jar ] [-inputformat ] [-map ] [-partitioner ] [-reduce ] [-writer ] [-program ] [-reduces ]

命令选项描述
-conf 作业的配置
-jobconf <key=value>,<key=value>,…增加/覆盖作业的配置项
-input 输入目录
-output 输出目录
-jar Jar 文件名
-inputformat InputFormat类
-map Java Map类
-partitioner java Partitioner
-reduce Java Reduce类
-writer Java RecordWriter
-program 可执行程序的URI
-reduces reduce 个数

version

打印版本信息

hadoop version

CLASSNAME

hadoop 脚本用于调用任何类。

hadoop CLASSNAME

  • 0
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值