hadoop-client命令使用

1.hadoop-client命令的使用方法

hadoop-client的命令的使用，都是用{Hadoop_HOME}/bin/hadoop脚本来调用的。

2.常见的hadoop-client的工具命令

(1).FSShell

HDFS（Hadoop Distributed Filesystem）提供一个类似于Unix Shell的命令接口FSShell，通过FSShell可以和HDFS或者其他hadoop平台支持的文件系统进行数据交互。命令的格式为：

{Hadoop_HOME}/bin/hadoop fs [args]

命令举例说明：

（a）查看文件或目录的属性

hadoop fs -ls /user/hadoop/file1

（b）删除一个文件

hadoop fs -rm /user/hadoop/file1

（c）命令是将HDFS文件夹内的文件合并并保持到本地。

hadoop fs -getmerge -nl /src /opt/output.txt #将/src目录中的文件合并，然后写入到/opt/output.txt文件中。
hadoop fs -getmerge-nl /src/file1.txt /src/file2.txt /output.txt

其中-nl选项在被合并的文件的结尾加上换行符

 

(2).DistCp工具

DistCp工具用来在同一个hadoop集群或不同hadoop集群间进行数据的拷贝操作。使用举例：

hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo

 

(3).jar工具

提交一个jar文件的hadoop任务