Hadoop（yarn）集群安装

最新推荐文章于 2024-08-08 19:38:19 发布

focuson_

最新推荐文章于 2024-08-08 19:38:19 发布

阅读量589

点赞数 1

分类专栏：大数据文章标签： hadoop

本文链接：https://blog.csdn.net/focuson_/article/details/80161222

版权

这篇博客详细介绍了Hadoop YARN集群的安装步骤，包括压缩包上传、配置文件修改、namenode格式化、服务启动及高可用验证。通过在三台机器上配置，实现了Hadoop的分布式集群安装。

摘要由CSDN通过智能技术生成

说明

说明一：此篇为大数据部分第二篇，第一篇见戳链接https://blog.csdn.net/focuson_/article/details/80153371，机器的安装准备说明和zookeeper的安装已经在上一篇博客中说明。

说明二：本文为hadoop的安装，集群分布情况设计为：

机器	安装软件	进程
focuson1	zookeeper，hadoop namenode，hadoop DataNode	JournalNode; DataNode; QuorumPeerMain; NameNode; DFSZKFailoverController;NodeManager
focuson2	zookeeper;hadoop namenode，hadoop DataNode;yarn	JournalNode; DataNode; QuorumPeerMain; NameNode; DFSZKFailoverController;NodeManager;ResourceManager
focuson3	zookeeper,hadoop DataNode;yarn	JournalNode; DataNode; QuorumPeerMain;NodeManager;ResourceManager

安装步骤：

1、压缩包上传到focuson1家目录

cd/usr/local/src/
mkdir hadoop
mv~/hadoop-2.6.0.tar.gz .
tar -xvfhadoop-2.6.0.tar.gz
rm -fhadoop-2.6.0.tar.gz

2、修改配置文件

1》hadoop-env.sh

exportJAVA_HOME=/usr/local/src/java/jdk1.7.0_51//必须要有的

2》yarn 与Hadoop集成

2.1 mapred-site.xml

<configuration>
    <configuration>
        <!-- 指定mr框架为yarn方式 -->
        <property>
               <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
    </configuration>
</configuration>

2.2 yarn-site.xml

<configuration>

         <!-- Site specific YARNconfiguration properties -->

         <!-- 开启RM高可靠-->

    <property>

      <name>yarn.resourcemanager.ha.enabled</name>

       <value>