bin/hadoop dfsadmin -safemode leave ,安全模式设置
enter - 进入安全模式 leave - 强制NameNode离开安全模式 get - 返回安全模式是否开启的信息 wait - 等待,一直到安全模式结束。
格式化namenode:./bin/hdfs namenode –format
6.启动Hadoop,看到很多地方写的都是用sbin/hadoop-daemon.sh namenode start之类的来启动,可能是单机的问题?分开部署的话,不需要了!在启动之后请先使用ssh免密码登陆的机制,确保主从机能够免密码互通,之后运行主机上的sbin/start-all.sh即可,它会根据上面提到的配置文件去拉起来从机的datanode服务
7.查看ui确信他们正常了,登陆http://ip:50070这个页面可以查看到node的状态之类的,这个ui看着很舒服的,比其他的50090那个端口的ui好看多了。
hadoop dfsadmin是命令行的管理工具,查看帮助用如下命令:
查看目录文件
hadoop fs -ls /user/admin/aaron
创建文件目录
hadoop fs -mkdir /user/admin/aaron/newDir
删除文件
hadoop fs -rm /user/admin/aaron/needDelete
删除目录与目录下所有文件
hadoop fs -rmr /user/admin/aaron
上传文件
上传一个本机/home/admin/newFile的文件到hdfs中/user/admin/aaron目录下
hadoop fs -put /home/admin/newFile /user/admin/aaron/
下载文件
下载hdfs中/user/admin/aaron目录下的newFile文件到本机/home/admin/newFile中
hadoop fs -get /user/admin/aaron/newFile /home/admin/newFile
查看文件
hadoop fs –cat /home/admin/newFile
Job操作
提交MapReduce Job
原则上说,Hadoop所有的MapReduce Job都是一个jar包
运行一个/home/admin/hadoop/job.jar的MapReduce Job
hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs]
杀死某个正在运行的Job
假设Job_Id为:job_201005310937_0053
hadoop job -kill job_201005310937_0053
基本流程与应用开发
http://www.infoq.com/cn/articles/hadoop-process-develop
hadoop jar xxxx.jar的分发和运行流程
启动
[root@six hadoop2.3]# ./sbin/hadoop-daemon.sh start namenode
[root@six hadoop2.3]# ./sbin/hadoop-daemon.sh start datanode
[root@six hadoop2.3]# ./sbin/hadoop-daemon.sh start dfs
[root@six hadoop2.3]# ./sbin/start-yarn.sh
查看集群状态:./bin/hdfs dfsadmin –report
查看文件块组成: ./bin/hdfsfsck / -files -blocks
查看HDFS: http://16.187.94.161:50070
查看RM: http:// 16.187.94.161:8088