cdh hadoop2单机安装

cdh hadoop2单机安装 hdfs和yarn

tar安装

hadoop2软硬件准备

1. 准备硬件（linux）(ssh免密码登录，只是在启动或关闭时才用到免密码登录)
2. 准备软件安装包，并安装基础软件（主要jdk）
3. 将hadoop安装包分发到各个节点的同一个目录下，并解压
4. 修改配置文件
5. 启动服务
6. 验证是否启动成功

http://archive.cloudera.com/cdh5/cdh/5/

配置

etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

etc/hadoop/mapred-site.xml

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>cdh1:9001</value>
        </property>
<!--
        <property>
                <name>mapreduce.framework.name</name>
                <value>cdh1:9001</value>
        </property>
-->


</configuration>

etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://cdh1:8020</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/weishanwei/hadoop/dfs/name</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/weishanwei/hadoop/dfs/data</value>
    </property>

</configuration>

etc/hadoop/yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

</configuration>

etc/hadoop/slaves

localhost

hdfs启动

启动Namenode

1. 在各个JournalNode节点上，输入以下命令启动journalnode
   sbin/hadoop-daemon.sh start journalnode
2. 在[nn1]上对其进行格式化，并启动：
   在 /usr/local/hadoop/weishanwei/hadoop/dfs/name中生成namenode第一次运行的准备文件
   bin/hdfs namenode -format
3. 在[nn2]，启动NameNode
   sbin/hadoop-daemon.sh start namenode
4. 启动datanode
   在 /usr/local/hadoop/weishanwei/hadoop/dfs/data中生成namenode第一次运行的准备文件
   sbin/hadoop-daemons.sh start datanode

验证是否启动成功
jps
或
http://IP:50070

yarn启动

sbin/start-yarn.sh