Hadoop集群搭建

简单配置 仅供参考

一、配置环境

vim /etc/profile  或  vim /etc/profile.d/my_env.sh

#HADOOP_HOME

export HADOOP_HOME=/opt/bdp/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

source /etc/profile  或  source /etc/profile.d/my_env.sh

二、配置集群

核心配置文件

cd $HADOOP_HOME/etc/hadoop

vim core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ml01:8020</value>
        </property>

        <!-- 指定 hadoop 数据的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-3.1.3/data</value>
        </property>

        <!-- 配置 HDFS 网页登录使用的静态用户为 root -->
        <property>
                <name>hadoop.http.staticuser.user</name>
                <value>root</value>
        </property>
</configuration>

三、HDFS 配置

文件配置 hdfs-site.xml

<configuration> 
        <!-- nn web 端访问地址-->
        <property>
                <name>dfs.namenode.http-address</name>
                <value>ml01:9870</value>
        </property>
        <!-- 2nn web 端访问地址-->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>ml03:9868</value> 
        </property> 

</configuration>

四、YARN 配置文件

配置 yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

        <!-- 指定MR 走 shuffle -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

        <!-- 指定 ResourceManager 的地址-->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>ml02</value>
        </property>

        <!-- 环境变量的继承 -->
        <property>
                <name>yarn.nodemanager.env-whitelist</name>
                                             <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>

        </property>

        <!-- 开启日志聚集功能 -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <!-- 设置日志聚集服务器地址 -->
        <property>
                <name>yarn.log.server.url</name>
                <value>http://ml01:19888/jobhistory/logs</value>
        </property>
        <!-- 设置日志保留时间为 7 天 -->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
</configuration>
 

五、MapReduce 配置文件

        配置 mapred-site.xml

<configuration>
        <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>ml01:10020</value>
        </property>

        <!-- 历史服务器 web 端地址 -->
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>ml01:19888</value>
        </property>
</configuration>
 

六、配置workers

        vim /opt/bdp/hadoop-3.1.3/etc/hadoop/workers

        例如

        ml01

        ml02

        ml03

七、在集群上分发配置好的 Hadoop 配置文件

                xsync /opt/bdp/hadoop-3.1.3/etc/hadoop/

• 启动集群

        集群初始

                hdfs namenode -format

        第一台虚拟机启动

                sbin/start-dfs.sh

        第二台虚拟机启动

                sbin/start-yarn.sh

        关闭防火墙 systemctl stop firewalld.service

        访问网页

八、在配置hadoop集群中遇到的问题

        

解决步骤

        方案一 （放到文件头部 空白处） 不论用哪种都要分发

       （1）对于start-dfs.sh和stop-dfs.sh文件，添加下列参数

                HDFS_DATANODE_USER=root

                HADOOP_SECURE_DN_USER=hdfs

                HDFS_NAMENODE_USER=root

                HDFS_SECONDARYNAMENODE_USER=root

      （2）对于start-yarn.sh和stop-yarn.sh文件，添加下列参数：

                YARN_RESOURCEMANAGER_USER=root

                HADOOP_SECURE_DN_USER=yarn

                YARN_NODEMANAGER_USER=root

        方案二

        添加环境变量

                export HDFS_NAMENODE_USER=root

                export HDFS_DATANODE_USER=root

                export HDFS_SECONDARYNAMENODE_USER=root

                export YARN_RESOURCEMANAGER_USER=root

                export YARN_NODEMANAGER_USER=root