hadoop安装［未完待续］-CSDN博客

本文链接：https://blog.csdn.net/micklf/article/details/51076026

硬件

三台虚拟机
硬件：
CPU：2*3核
内存：16G
磁盘：500G（SATA）
操作系统：
ubuntu 14.04

软件安装

配置修改

安装包：hadoop-2.7.1.tar.gz
解压后进入目录

etc/hadoop/core-site.xml修改如下：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/mapred-site.xml.template修改如下：

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml修改如下：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

etc/hadoop/hadoop-env.sh修改如下：

...
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
...

HDFS系统

bin/hdfs namenode -format

NameNode和DataNode进程

sbin/start-dfs.sh

总结下完整启动

bin/hdfs namenode -format
sbin/start-dfs.sh

bin/hdfs namenode -format在后续执行的时候，让输入Y/N的时候，选择N，否则会出问题，解决办法参考后续重启后datanode启动失败

查看结果

jps
10517 DataNode 10364 NameNode 10710 SecondaryNameNode 10914 Jps
http://127.0.0.1:50070

问题

jdk

root@h1:/hadoop/install/hadoop-2.7.1# sbin/start-dfs.sh 
Starting namenodes on [localhost]
root@localhost's password: 
localhost: Error: JAVA_HOME is not set and could not be found.

etc/hadoop/hadoop-env.sh中有java home的设定位置，直接配置下就好

密码错误

root@h1:/hadoop/install/hadoop-2.7.1# sbin/start-dfs.sh 
Starting namenodes on [localhost]
root@localhost's password: 
localhost: Permission denied, please try again.

重新设定一下密码即可：sudo passwd，然后继续安装

重启后datanode启动失败

断电后依次执行启动命令，format的时候，选择了Y，会重新格式化，导致data和name中的VERSION不一致。
这时候执行sbin/start-dfs.sh，datanode就一直启动失败。
解决办法：
/hadoop/tmp/dfs能看到 data和name两个文件夹，将name/current下的VERSION中的clusterID复制到data/current下的VERSION中，覆盖掉原来的clusterID，让两个保持一致，然后重启，OK。