查看hadoop集群节点守护进程命令_hadoop常用命令

http://localhost:50070

(localhost

也可是

master

的

ip)

jps //OS

级查看

hadoop

进程

二、文件操作

Hadoop fs

选项

(

应用较广，包括本地文件系统

)

，推荐

hdfs

对应命令

dfs

bin/hdfs dfsadmin

–

report//

查看节点运行状态

bin/hdfs dfs -mkdir /t2//

在

hdfs

根目录创建子目录

t2

bin/hdfs dfs -ls ///

列出目录

bin/hdfs dfs

-put /hadoop/hadoop/test4178.txt /t2 //

上传本地文件到

HDFS

的

T2

bin/hdfs dfs -get

/t3/test2 /

下载

test2

到本地根目录

位置相反

bin/hdfs dfs -cat /t2/test2 //

显示文件内容

bin/hadoop fs

-put /hadoop/hadoop/test4178.txt

/t2

//cp

本地文件到

HDFS

的

T2

bin/hdfs dfs -rmdir /t2//

删除非空目录

bin/hdfs dfs -rm /t2/test2//

删除文件，

bin/hdfs dfs

–

rm -r /t2//

删除目录及其下所有文件，

bin/hadoop dfs -cat /ctom4178/test4178.txt

1

、列出所有

Hadoop Shell

支持的命令

$ bin/hadoop fs -help

2

、显示关于某个命令的详细信息

$ bin/hadoop fs -help command-name

3

、用户可使用以下命令在指定路径下查看历史日志汇总

$ bin/hadoop job -history output-dir

这条命令会显示作业的细节信息，失败和终止的任务细节。

4

、关于作业的更多细节，比如成功的任务，以及对每个任务的所做的尝试次数等可以用下

面的命令查看

$ bin/hadoop job -history all output-dir

5

、格式化一个新的分布式文件系统：

$ bin/hadoop namenode -format

6

、在分配的

NameNode

上，运行下面的命令启动

HDFS

：

$ bin/start-dfs.sh

bin/start-dfs.sh

脚本会参照

NameNode

上

${HADOOP_CONF_DIR}/slaves

文件的内容，在所

有列出的

slave

上启动

DataNode

守护进程。

7

、在分配的

JobTracker

上，运行下面的命令启动

Map/Reduce

：

$ bin/start-mapred.sh

bin/start-mapred.sh

脚本会参照

JobTracker

上

${HADOOP_CONF_DIR}/slaves

文件的内容，

在

所有列出的

slave

上启动

TaskTracker

守护进程。

8

、在分配的

NameNode

上，执行下面的命令停止

HDFS

：

$ bin/stop-dfs.sh