hadoop hdfs+mapReduce基本使用命令

1,列出hadoop shell所有支持的命令.
[hdfs@nx-1 root]$ hadoop fs –help

2,显示关于某个命令的详细信息.
[hdfs@nx-1 root]$ hadoop fs -help ls(command-name)

3,格式化一个新的分布式文件系统
[hdfs@nx-1 root]$ hadoop namenode –format

4,查看hdfs上的/下的文件目录
[hdfs@nx-1 root]$ hdfs dfs -ls /

5，创建一个名为/foodir的目录
[hdfs@nx-1 root]$ hadoop dfs -mkdir /foodir

6，查看hdfs文件系统下的文件内容。
[hdfs@nx-1 root]$ hadoop dfs -cat 文件名

7，将集群置于安全模式
[hdfs@nx-1 root]$ hadoop dfsadmin -safemode enter

8，显示DataNode列表
[hdfs@nx-1 root]$ hadoop dfsadmin –report

9，使DataNode节点（节点名）退役
[hdfs@nx-1 root]$ hadoop dfsadmin –decommission DataNode节点名

10，显式的将hdfs置于安全模式
[hdfs@nx-1 root]$ hadoop dfsadmin –safemode

11，在升级之前管理员需要用（升级终结操作）命令删除存在的备份文件
[hdfs@nx-1 root]$ hadoop dfsadmin –finalizeUpgrade

12，能够知道是否需要对一个集群执行升级终结操作
[hdfs@nx-1 root]$ dfsadmin -upgradeProgress status

13，使用-upgrade选项运行新的版本
[hdfs@nx-1 root]$ start-dfs.sh -upgrade

14，如果要退回老版本，就必须停止集群并部署老版本的hadoop，用回滚选项启动集群。
[hdfs@nx-1 root]$ start-dfs.h -rollback

15，创建一个hadoop档案文件
Hadoop archive –archiveName NAME *
-archiveName NAME 要创建的档案名字
Src 文件系统的路径名，和通常含正则表达的一样
dest 保存档案文件的目标目录

16，递归拷贝文件或目录
Hadoop distcp
Srcurl 源url
desturl 目标url

17，运行hdfs文件系统的检查工具
用法：
hadoop fsck [GENERIC_OPTIONS] [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
**命令选项 描述
检查的起始目录。
-move 移动受损文件到/lost+found
-delete 删除受损文件。
-openforwrite 打印出写打开的文件。
-files 打印出正被检查的文件。
-blocks 打印出块信息报告。
-locations 打印出每个块的位置信息。
-racks 打印出data-node的网络拓扑结构。**

18，打印hadoop的版本信息
Hadoop version

19，运行 mapReduce job tracker节点
用法：hadoop jobtracker

20， 查看mapReduce的作业状态
hadoop job -status
e.g
[hdfs@nx-1 root]$ hadoop job -status job_201712071043_0004

21,在output-dir查看作业历史
hadoop job -history
e.g
[hdfs@nx-1 root]$ hadoop job -history /user/expert/output

22,终止mapReduce任务
hadoop job –kill
e.g
[hdfs@nx-1 root]$hadoop job –kill job_201712071403_0004