Hadoop 用户命令详解

Hadoop 集群用户的常用命令

hadoop [–config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

archive

创建一个hadoop档案文件。

hadoop archive -archiveName NAME *

命令选项	描述
-archiveName NAME	要创建的档案的名字
src	文件系统的路径名，和通常含正则表达式的一样
dest	保存档案文件的目标目录

distcp

递归地拷贝文件或目录

hadoop distcp

命令选项	描述
srcurl	源URL
desturl	目的URL

fs

hadoop fs [GENERIC OPTIONS] [COMMAND_OPTIONS]

运行一个常规文件系统客户端

命令详情参考：Hadoop FS 命令详解

fsck

运行HDFS文件系统检查工具

hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [files [-blocks [-locations | -racks]]]

命令选项	描述
	检查的起始目录
-move	移动受损文件到/lost+found
-delete	删除受损文件
-openforwrite	打印出写打开的文件
-files	打印出正被检查的文件
-blocks	打印出块信息报告
-locations	打印出每个块的位置信息
-racks	打印出data-node的网络拓扑结构

jar

运行jar文件。用户可以把他们的Map Reduce代码打包到jar文件中，使用此命令执行。

hadoop jar [mainClass] args …

job

用于和Map Reduce作业交互的命令。

hadoop job [GENERIC_OPTIONS] [-submit ] [-status <job-id] | [-counter ] | [-kill ] | [-events <from-event-#> <#-of-events>] | [-history [all] ] | [-list [all]] | [kill-task ] | [-fail-task ]

命令选项	描述
-submit	提交作业
-status	打印map和reduce完成百分比和所有计数器
-counter	打印计数器的值
-kill	杀死指定作业
-event <from-event-#> <#-of-events>	打印给定范围内jobtracker接收到的事件细节
-history [all] [jobOutputDir]	-history 打印作业的细节、失败以及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看
-list [all]	-list all 显示所有作业，-list 只显示将要完成的作业
-kill-task	杀死任务。被杀死的任务不会不利于失败尝试
-fail-task	使任务失败。失败的任务会对失败尝试不利

pipes

运行pipes作业

hadoop pipes [-conf ] [-jobconf <key=value>, <key=value>, …] [-input ] [-output ] [-jar ] [-inputformat ] [-map ] [-partitioner ] [-reduce ] [-writer ] [-program ] [-reduces ]

命令选项	描述
-conf	作业的配置
-jobconf <key=value>,<key=value>,…	增加/覆盖作业的配置项
-input	输入目录
-output	输出目录
-jar	Jar 文件名
-inputformat	InputFormat类
-map	Java Map类
-partitioner	java Partitioner
-reduce	Java Reduce类
-writer	Java RecordWriter
-program	可执行程序的URI
-reduces	reduce 个数

version

打印版本信息

hadoop version

CLASSNAME

hadoop 脚本用于调用任何类。

hadoop CLASSNAME