Hadoop 集群用户的常用命令
hadoop [–config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
archive
创建一个hadoop档案文件。
hadoop archive -archiveName NAME *
命令选项 | 描述 |
---|---|
-archiveName NAME | 要创建的档案的名字 |
src | 文件系统的路径名,和通常含正则表达式的一样 |
dest | 保存档案文件的目标目录 |
distcp
递归地拷贝文件或目录
hadoop distcp
命令选项 | 描述 |
---|---|
srcurl | 源URL |
desturl | 目的URL |
fs
hadoop fs [GENERIC OPTIONS] [COMMAND_OPTIONS]
运行一个常规文件系统客户端
命令详情参考:Hadoop FS 命令详解
fsck
运行HDFS文件系统检查工具
hadoop fsck [GENERIC_OPTIONS]
[-move | -delete | -openforwrite] [files [-blocks [-locations | -racks]]]
命令选项 | 描述 |
---|---|
| 检查的起始目录 |
-move | 移动受损文件到/lost+found |
-delete | 删除受损文件 |
-openforwrite | 打印出写打开的文件 |
-files | 打印出正被检查的文件 |
-blocks | 打印出块信息报告 |
-locations | 打印出每个块的位置信息 |
-racks | 打印出data-node的网络拓扑结构 |
jar
运行jar文件。用户可以把他们的Map Reduce代码打包到jar文件中,使用此命令执行。
hadoop jar [mainClass] args …
job
用于和Map Reduce作业交互的命令。
hadoop job [GENERIC_OPTIONS] [-submit ] [-status <job-id] | [-counter ] | [-kill ] | [-events <from-event-#> <#-of-events>] | [-history [all] ] | [-list [all]] | [kill-task ] | [-fail-task ]
命令选项 | 描述 |
---|---|
-submit | 提交作业 |
-status | 打印map和reduce完成百分比和所有计数器 |
-counter | 打印计数器的值 |
-kill | 杀死指定作业 |
-event <from-event-#> <#-of-events> | 打印给定范围内jobtracker接收到的事件细节 |
-history [all] [jobOutputDir] | -history 打印作业的细节、失败以及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务,做过的任务尝试等信息可以通过指定[all]选项查看 |
-list [all] | -list all 显示所有作业,-list 只显示将要完成的作业 |
-kill-task | 杀死任务。被杀死的任务不会不利于失败尝试 |
-fail-task | 使任务失败。失败的任务会对失败尝试不利 |
pipes
运行pipes作业
hadoop pipes [-conf
] [-jobconf <key=value>, <key=value>, …] [-input ] [-output ] [-jar ] [-inputformat ] [-map ] [-partitioner ] [-reduce ] [-writer ] [-program ] [-reduces ]
命令选项 | 描述 |
---|---|
-conf
| 作业的配置 |
-jobconf <key=value>,<key=value>,… | 增加/覆盖作业的配置项 |
-input
| 输入目录 |
-output
| 输出目录 |
-jar | Jar 文件名 |
-inputformat | InputFormat类 |
-map | Java Map类 |
-partitioner | java Partitioner |
-reduce | Java Reduce类 |
-writer | Java RecordWriter |
-program | 可执行程序的URI |
-reduces | reduce 个数 |
version
打印版本信息
hadoop version
CLASSNAME
hadoop 脚本用于调用任何类。
hadoop CLASSNAME