Hadoop命令指南

最新推荐文章于 2022-04-18 13:12:49 发布

weixin_33691700

最新推荐文章于 2022-04-18 13:12:49 发布

阅读量180

点赞数

文章标签：大数据 java shell

原文链接：https://my.oschina.net/leeck/blog/700698

版权

为什么80%的码农都做不了架构师？>>>

所有Hadoop命令通过bin/hadoop脚本调用。不带任何参数运行Hadoop脚本打印所有命令描述。

用法：

hadoop [--config confdir] [--loglevel loglevel] [COMMAND] [GENERIC_OPTIONS]

[COMMAND_OPTIONS]

字段	描述
--config confdir	覆盖默认配置目录。默认目录是${HADOOP_HOME}/conf
--loglevel loglevel	覆盖日志级别。有效值：FATAL、ERROR、WARN、INFO、DEBUG和TRACE。默认为INFO。
GENERIC_OPTIONS	支持多个命令的options集合
COMMAND_OPTIONS	Hadoop子项目的各种命令的options集合

Generic Options

GENERIC_OPTIONS	描述
-archives	Specify comma separated archives to be unarchived on the compute machines. Applies only to job.
-conf	指定一个应用程序的配置文件
-D =	使用指定属性值
-files	指定逗号分隔的文件列表复制到MapReduce集群。只应用于任务。
-jt or	指定ResourceManager。只应用于任务。
-libjars	指定逗号分隔的jar文件包括在classpath中。应用于任务。

1 Hadoop公共命令

所有这些命令从hadoop shell command执行。它们被分为用户命令和管理员命令。

1.1 用户命令

Hadoop集群用户使用的命令。

archive

创建hadoop归档。

checknative

用法：hadoop checknative [-a] [-h]

COMMAND_OPTION	描述
-a	检测所有类库是否可用
-h	打印帮助

该命令检测Hadoop本地代码有效性。默认，该命令只检测libhadoop有效性。

classpath

用法：

用法：hadoop classpath [--glob |--jar <path> |-h |--help]

COMMAND_OPTION	描述
--glob	执行通配符
--jar	指定jar名称
-h \|--help	打印帮助

打印需要获取的Hadoop jar和必须类库的classpath。如果没有参数，那么打印整个

classpath。额外选项打印通配符扩展后面的classpath或写classpath到jar文件的清单文件

中。

credential

用法：

hadoop credential <subcommand> [options]

COMMAND_OPTION	描述
create alias [-provider provider-path]	提示用户证书存储为指定别名。core-site.xml文件中的 hadoop.security.credential.provider.path将被使用除非提供-provider参数。
delete alias [-provider provider-path] [-f]	使用指定别名删除证书。core-site.xml文件中的 hadoop.security.credential.provider.path 将被使用，除非指定-provider。指定-f选项系统会询问你是否确认执行命令。
list [-provider provider-path]	列出所有的证书别名。core-site.xml的 hadoop.security.credential.provider.path 将被使用，除非指定-provider。

命令管理在证书提供商中管理证书、密码和秘钥。

Hadoop的CredentialProvider API允许将应用程序和它们需要的密码/秘钥分开存储。为了指定

特殊提供商的类型和位置，用户必须在core-site.xml文件中设置

hadoop.security.credential.provider.path配置元素或使用命令行选项-provider。该提供商

路径是一个逗号分隔的表示提供商类型和位置的URL列表。例如：

user:///,jceks://file/tmp/test.jceks,jceks://hdfs@nn1.example.com/my/path

/test.jceks

表示当前用户的证书文件通过User Provider获取，本地文件系统位于/tmp/test.jceks是Java

Keystore Provider，HDFS文件系统中的nn1.example.com/my/path/test.jceks也是Java

Keystore Provider。

当利用证书命令，它将提供密码或秘钥给特定证书存储提供商。为了明确指定提供商存储位置

使用-provider选项。否则，指定多个提供商，第一个非瞬时的提供商被使用。

例子：

hadoop credential list -provider jceks://file/tmp/test.jceks

distcp

递归复制文件和目录。

等价于HDFS中的hdfs dfs命令。

jar

用法：

hadoop jar <jar> [mainClass] args...

运行jar文件。

使用yarn jar加载YARN应用程序。

key

通过KeyProvider管理键。

trace

浏览和修改Hadoop追踪设置。

version

用法：

hadoop version

打印版本。

classname

用法：

hadoop CLASSNAME

运行类名CLASSNAME的类。

1.2 管理员命令

Hadoop集群管理员使用的命令。

daemonlog

用法：

hadoop daemonlog -getlevel <host:httpport> <classname>

hadoop daemonlog -setlevel <host:httpport> <classname> <level>

COMMAND_OPTION	描述
-getlevel	打印运行在后台host:httpport以完全限定类名定义的日志的级别。该命令内部链接http:///logLevel?log=
-setlevel	设置运行在后台host:httpport以完全限定类名定义的日志的级别。该命令内部链接http:///logLevel?log=&level=

例子：