Hadoop基本命令

目录

<一启动/暂停操作>. 2

1，启动Hadoop. 2

2，关闭Hadoop. 2

3，打印版本信息。... 2

4、hadoop脚本可用于调试任何类... 2

<二>,文件操作... 3

1、格式化一个新的分布式文件系统：... 3

2、查看指定目录下内容... 3

3、查看指定目录下的所有文件(包括子目录下的文件)3

4、打开某个已存在文件... 3

5、将本地文件存储至hadoop. 3

6、将本地文件夹存储至hadoop. 3

7、将hadoop上某个文件down至本地已有目录下... 3

8、删除hadoop上指定文件... 3

9、删除hadoop上指定文件夹（包含子目录等）... 3

10、在hadoop指定目录内创建新目录... 4

11、在hadoop指定目录下新建一个空文件... 4

12、将hadoop上某个文件重命名... 4

13、将hadoop指定目录下所有内容保存为一个文件，同时down至本地... 4

14、在分配的NameNode上，运行下面的命令启动HDFS：... 4

15、在分配的NameNode上，执行下面的命令停止HDFS：... 4

16、列出所有Hadoop Shell支持的命令... 4

17、显示关于某个命令的详细信息... 4

18、使用-upgrade选项运行新的版本... 5

19、如果需要退回到老版本,就必须停止集群并且部署老版本... 5

20、递归地拷贝文件或目录... 5

21、创建一个hadoop档案文件... 5

<三>MapReduceJob操作... 5

1, 运行一个"作业.jar"的MapReduce Job. 5

2、在分配的JobTracker上，运行下面的命令启动Map/Reduce：... 5

3、在分配的JobTracker上，运行下面的命令停止Map/Reduce：... 5

4、将正在运行的hadoop作业kill掉... 5

5、用户可使用以下命令在指定路径下查看历史日志汇总... 6

6、关于作业的更多细节，比如成功的任务，以及对每个任... 6

<四>DFSAdmin. 6

1、显式地将HDFS置于安全模式... 6

2、退出安全模式... 6

3、将集群置于安全模式... 6

4、显示Datanode列表... 6

5、使Datanode节点 datanodename退役... 6

6、bin/hadoop dfsadmin -help 命令能列出所有当前支持的命令。比如：... 6

7、在升级之前，管理员需要用（升级终结操作）命令删除存在的备份文件... 7

8、能够知道是否需要对一个集群执行升级终结操作。... 7

9、运行一个HDFS的dfsadmin客户端。... 7

<五>其它... 8

1、运行pipes作业... 8

2、用于和Map Reduce作业交互和命令(jar)8

3、运行namenode。有关升级，回滚，升级终结的更多信息请参考升级和回滚。... 9

4、运行HDFS的secondary namenode。... 10

5、运行一个HDFS的datanode. 10

6、运行MapReduce job Tracker节点(jobtracker)。... 10

7、运行MapReduce的task Tracker节点。... 10

8、运行HDFS文件系统检查工具(fsck tools)10

9、运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程(balancer)10

11、支持配额：... 11

12、了解更多，... 11

学习资料:12

<hadoop命令大全>Royce Wang专栏... 12

<HADOOP基本操作命令>逖寒的世界... 12

<hadoop常用命令 >鑫的技术平台