启动hadoop小技巧

搭建hadoop伪分布

1. 格式化Hadoop文件系统

$ hdfs namenode -format
执行以上命令后，输出若看到“Exiting with status 0”为格式化成功，否者可能哪个步骤出错，请再检查前面的设置。

注意：格式化只需要进行一次，以后启动hadoop前不需要再次格式化。
如果多次格式化点击此处

2. 启动Hadoop

2.1启动HDFS

$ start-dfs.sh

jps查看进程，能看到除了jps之外有三个进程出现，分别是：NameNode、DataNode、SecondaryNameNode

如果少了某个进程，解决思路是：进入Hadoop的logs目录下查看相应的log，

$ cd $HADOOP_HOME/logs
$ ls

hadoop-hadoop-datanode-node1.log  hadoop-hadoop-secondarynamenode-node1.log
hadoop-hadoop-datanode-node1.out  hadoop-hadoop-secondarynamenode-node1.out
hadoop-hadoop-namenode-node1.log  SecurityAuth-hadoop.audit
hadoop-hadoop-namenode-node1.out

例如：没有NameNode进程，需要用cat命令 查看namenode相关的.log的文件，即：hadoop-hadoop-namenode-node1.log，

$ cat hadoop-hadoop-namenode-node1.log

执行以上命令后，找到error、exception、warn等包含错误的关键信息，得到错误原因，进而对症解决。

2.2启动YARN

$ start-yarn.sh

jps查看进程，多出有2个进程出现，分别是：ResourceManager、NodeManager

如果少了其中任意一个进程，解决思路也是查看相应的log，找到问题原因，进而解决。

2.3.查看Hadoop的Web监控页面

2.3.1 访问HDFS Web监控页面

打开浏览器，在地址栏输入（ip为自己虚拟机ip）：
192.168.91.128:50070

或者
node1:50070 (需要先在windows映射Ubuntu ip与主机名)
Windows映射Ubuntu ip和主机名方法：

进入windows系统C:\Windows\System32\drivers\etc目录，修改hosts文件，添加如下映射语句：

192.168.91.128  node1

浏览器显示截图如下：

7.2 访问YARN的Web监控页面

打开浏览器，在地址栏输入：

192.168.91.128:8088
或者
node1:8088

完成！ enjoy it！