Hadoop基本操作命令

http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html

在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。

假设Hadoop的安装目录HADOOP_HOME为/home/hadoop/hadoop-2.6.4

启动与关闭

启动HADOOP

1.         进入HADOOP_HOME目录。

2.         执行sh bin/start-all.sh或者./bin/start-all.sh

关闭HADOOP

1.         进入HADOOP_HOME目录。

2.         执行sh bin/stop-all.sh或者./bin/stop-all.sh

文件操作

Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。

查看文件列表

查看hdfs中/usr/hive/warehouse目录下的文件。

1.  进入HADOOP_HOME目录。

2.   执行sh bin/hadoop fs -ls /usr/hive/warehouse

列出hdfs中/usr/hive/warehouse目录下的所有文件（包括子目录下的文件）。

[root@node0 bin]# sh bin/hadoop fs -ls -R /usr/hive/warehouse

[root@node0 bin]# bin/hadoop fs -lsr  /usr/hive/warehouse

 

创建文件目录

[root@node0 bin]# sh bin/hadoop fs -mkdir /usr/hive/warehouse/newDir

[root@node0 bin]# hadoop fs -touchz  /usr/hive/warehouse/new.txt

 

删除文件

root@node0 bin]# sh bin/hadoop fs -mkdir /usr/hive/warehouse/newDelete

[root@node0 bin]# sh bin/hadoop fs -rm /usr/hive/warehouse/newDelete

[root@node0 bin]# sh bin/hadoop fs -rmr /usr/hive/warehouse/newDelete

上传文件

[root@node0 bin]# hadoop fs -put /home/panqiong/file.txt /usr/hive/warehouse/

下载文件

[root@node0 bin]# hadoop fs -get /usr/hive/warehouse/new.txt  /home/panqiong

查看文件

[root@node0 hadoop-2.6.4]# bin/hadoop fs -cat /usr/hive/warehouse/test/data.txt

进入hadoop-2.6.4/bin目录下

 [root@node0 bin]# hadoop dfs -ls /

 

MAPREDUCE JOB操作s

提交MAPREDUCE JOB

原则上说，Hadoop所有的MapReduce Job都是一个jar包。

运行一个/home/admin/hadoop/job.jar的MapReduce Job

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

杀死某个正在运行的JOB

假设Job_Id为：job_201005310937_0053

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop job -kill job_201005310937_0053

更多HADOOP的命令

上面介绍的这些Hadoop的操作命令是我们最常用的。如果你希望了解更多，可以按照如下的方式获取命令的说明信息。

1.         进入HADOOP_HOME目录。

2.         执行sh bin/hadoop

我们可以看到更多命令的说明信息：

Usage: hadoop [--config confdir] COMMAND

where COMMAND is one of:

  namenode -format     format the DFS filesystem

  secondarynamenode    run the DFS secondary namenode

  namenode             run the DFS namenode

  datanode             run a DFS datanode

  dfsadmin             run a DFS admin client

  fsck                 run a DFS filesystem checking utility

  fs                   run a generic filesystem user client

  balancer             run a cluster balancing utility

  jobtracker           run the MapReduce job Tracker node

  pipes                run a Pipes job

  tasktracker          run a MapReduce task Tracker node

  job                  manipulate MapReduce jobs

  queue                get information regarding JobQueues

  version              print the version

  jar             run a jar file

  distcp copy file or directories recursively

  archive -archiveName NAME * create a hadoop archive

  daemonlog            get/set the log level for each daemon

 or

  CLASSNAME            run the class named CLASSNAME

2.6 web访问端口

NameNode	50070
ResourceManager	8088
MapReduce JobHistory Server	19888

访问http://localhost:50070
访问http://localhost:8088
访问http://localhost:19888

其中19888端口要启动JobHistoryServer进程，启动命令如下：

./sbin/mr-jobhistory-daemon.sh start historyserver

 

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/29050044/viewspace-2098261/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/29050044/viewspace-2098261/