hadoop伪分布式的配置

一、文件的配置

需要配置四个文件：core-site.xml，hdfs-site.xml，mapred-site.xml ，yarn-site.xml

文件所在目录~/downloads/hadoop/etc/hadoop中 （这比较重要，不然四个.xml文件可能是空的）

1、core-site.xml的配置

  命令：nano  core-site.xml   进入在尾部添加如下：

其中192.168.198.137为本ubuntu的ip也可以是localhost但是在接下来eclipse链接过程中可能出问题。

下边的tmp文件是为了存放数据，不用namenode每次都格式化，不然每次开机namenode 的内容都会清空。

9000端口在以后eclipse链接的时候有用。

2、h的dfs-site.xml的配置

  命令：nano  hdfs-site.xml   进入在尾部添加如下

 

 

第一部分为备份数，第二部分是在接下来eclipse的时候的权限问题

3、mapred-site.xml的配置

  命令：nano  mapred-site.xml  进入后会发现里边是空的，所以需要接下来的复制的操作

 命令：cp  mapred-site.xml.template   mapred-site.xml  //将第一个文件中内容复制到第二个文件中

然后再执行命令：nano  mapred-site.xml 

 然后在进入的界面尾部添加

 

其中的9001端口号在，windows下eclipse链接dfs的时候配置需要

4、yarn-site.xml的配置

  命令：nano  yarn-site.xml   进入在尾部添加如下

 

 二、格式化以及进程的启动

1、执行 NameNode 的格式化不是每次都需要

首先进入路径：cd  ~/downloads/hadoop/bin

输入命令进行格式化：hadoop namenode  -format

 2、启动进程，

命令：start-all.sh

但是会出错提示JAVA_HOME不存在所以得进行修改

首先查看JAVA_HOME的位置命令：echo $JAVA_HOME

然后进入指定路径修改hadoop-env.sh文件

 进入文件修改JAVA_HOME,修改后如下

重新启动输入命令：start-all.sh

 

3、查看进程

命令：jps

namenode,datanode,secondarynamenode 必须存在才算成功启动

 成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。 

4、结束进程

命令： stop-all.sh