hadoop 2.6 伪分布式的安装

我们选择安装的版本为： hadoop-2.6.0-cdh5.4.0.tar.gz。

一、下载、解压

二、修改配置文件

配置文件在 hadoop-2.6.0-cdh5.4.0/etc/hadoop/ 路径下：

• （1）hadoop-env.sh

  export JAVA_HOME=/usr/local/jdk

• （2）core-site.xml，namenode的位置

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://hadoop0:9000</value>
      </property>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/hadoop-2.6.0-cdh5.4.0/data/tmp</value>
      </property>
  </configuration>

  hadoop.tmp.dir 表示缓存目录，如果指定无此文件夹的话，框架会自动创建（在格式化文件系统时创建）。

• （3）hdfs-site.xml

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
  </configuration>

• （4）slaves（真正分布式和伪分布式的区别就在该配置文件）

  我们将其设置为本机，即为伪分布模式：

  hadoop0

三、启动前准备及启动

• （1）设置自己到自己的免密码登录

  [root@hadoop0 ~]# ssh hadoop0

  是否需要输入密码，如果需要，则需执行如下的命令：

  [root@hadoop0 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  [root@hadoop0 ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

• （2）格式化文件系统，产生镜像文件，而 namenode 启动的时候，就需要读取此镜像文件。

  [root@hadoop0 hadoop-2.6.0-cdh5.4.0]# ./bin/hdfs namenode -format

• （3）启动

  我们分别启动 datanode、namenode：

  [root@hadoop0 hadoop-2.6.0-cdh5.4.0]#./sbin/hadoop-daemon.sh start namenode
  [root@hadoop0 hadoop-2.6.0-cdh5.4.0]#./sbin/hadoop-daemon.sh start datanode

四、验证

• （1）jps 查看是否显示 namenode 和 datanode，两个 java 进程
• （2）浏览器端输入：hadoop0:50070 是否进入 namenode 节点

References

[1] Hadoop MapReduce Next Generation - Setting up a Single Node Cluster