Hadoop 常用命令

 bin/Hadoop dfsadmin -safemode leave   ，安全模式设置

enter - 进入安全模式
leave - 强制NameNode离开安全模式
get -   返回安全模式是否开启的信息
wait - 等待，一直到安全模式结束。

格式化namenode：./bin/hdfs namenode –format

6.启动Hadoop，看到很多地方写的都是用sbin/hadoop-daemon.sh namenode start之类的来启动，可能是单机的问题？分开部署的话，不需要了！在启动之后请先使用ssh免密码登陆的机制，确保主从机能够免密码互通，之后运行主机上的sbin/start-all.sh即可，它会根据上面提到的配置文件去拉起来从机的datanode服务

7.查看ui确信他们正常了，登陆http://ip:50070这个页面可以查看到node的状态之类的，这个ui看着很舒服的，比其他的50090那个端口的ui好看多了。

hadoop dfsadmin是命令行的管理工具，查看帮助用如下命令：

查看目录文件
hadoop fs -ls /user/admin/aaron


创建文件目录
hadoop fs -mkdir /user/admin/aaron/newDir


删除文件
hadoop fs -rm /user/admin/aaron/needDelete



删除目录与目录下所有文件
hadoop fs -rmr /user/admin/aaron



上传文件
上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下
hadoop fs -put /home/admin/newFile /user/admin/aaron/

下载文件
下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中
hadoop fs -get /user/admin/aaron/newFile /home/admin/newFile

 

查看文件
hadoop fs –cat /home/admin/newFile

 

Job操作

提交MapReduce Job
原则上说，Hadoop所有的MapReduce Job都是一个jar包

 

运行一个/home/admin/hadoop/job.jar的MapReduce Job
hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]

 

杀死某个正在运行的Job
假设Job_Id为：job_201005310937_0053
hadoop job -kill job_201005310937_0053

 

基本流程与应用开发
http://www.infoq.com/cn/articles/hadoop-process-develop

hadoop jar xxxx.jar的分发和运行流程

 

启动

 [root@six hadoop2.3]# ./sbin/hadoop-daemon.sh start namenode
[root@six hadoop2.3]# ./sbin/hadoop-daemon.sh start datanode
[root@six hadoop2.3]# ./sbin/hadoop-daemon.sh start dfs
[root@six hadoop2.3]# ./sbin/start-yarn.sh   

查看集群状态：./bin/hdfs dfsadmin –report

查看文件块组成：  ./bin/hdfsfsck / -files -blocks

查看HDFS:    http://16.187.94.161:50070

查看RM:    http:// 16.187.94.161:8088