bin目录下的hadoop脚步是最基础的集群管理脚步,用户可以通过该脚本完成各种功能,如HDFS文件管理,MapReduce作业管理等。该脚本的使用方法为:
hadoop [--config confdir] COMMAND
其中,--config用于设置配置文件目录,默认目录为${HADOOP_HOME}/conf。而command是用于具体的某个命令,常用的有Hdfs管理命令fs,作业命令job和作业提交命令jar等。它们的使用方法如下:
(1)HDFS管理命令fs和作用管理命令job
它们的用法一样,均为:
bin/hadoop command [genericOptions] [commandOptions]
其中,command可以是fs或者job,genericOptions是一些通用选项,commandOptions是fs或job附加的命令选项。下面两个例子。
- 在HDFS上创建一个目录/test:
1bin
/hadoop
fs -
mkdir
/test
- 显示hadoop上正在运行的所有作业
1bin
/hadoop
job -list
(2) 作业提交命令jar
这个命令的用法是:
hadoop jar <jar> [mainClass] args…
其中,<jar>是表示jar包名;mainClass表示main class名称,可以不必输入而由jar命令自动搜索;args是main class输入参数。举例如下:
1bin
/hadoop
jar hadoop-example-1.0.0.jar wordcount
/test/input
/test/output
其中,wordcount是hadoop-1.0.0.jar中一个作业名称,它有两个输入参数:输入数据目录(/test/input)和输出数据目录(/test/output)。
我的个人博客网站 www.wenshan.me