Hadoop——第一部份 Hadoop入门——四、集群配置和启动

四、集群配置和启动

4.1 集群规划

模块	hadoop101	hadoop102	hadoop103	hadoop104
HDFS	DataNode	DataNode	DataNode	DataNode
		NameNode		SecondaryNameNode
YARN	NodeManager	NodeManager	NodeManager	NodeManager
			ResourceManager
HIVE	HIVE

4.2 四大配置文件

配置文件位置
/opt/module/hadoop-3.3.1/etc/hadoop/

1. 核心配置文件

vi /opt/module/hadoop-3.3.1/etc/hadoop/core-site.xml

部分内容如下

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.3.1/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为centos7 -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>centos7</value>
    </property>
</configuration>

2. HDFS配置文件

vi /opt/module/hadoop-3.3.1/etc/hadoop/hdfs-site.xml

部分内容如下

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

3. YARN配置文件

vi /opt/module/hadoop-3.3.1/etc/hadoop/yarn-site.xml

部分内容如下

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    
<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>
</configuration>

4. MapReduce配置文件

• 包括MapReduce、历史服务器和日志聚集功能

vi /opt/module/hadoop-3.3.1/etc/hadoop/mapred-site.xml

部分内容如下

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    
   <!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop102:10020</value>
    </property>

   <!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop102:19888</value>
    </property>
        
</configuration>

5. 配置workers

定义集群所有节点

vi /opt/module/hadoop-3.3.1/etc/hadoop/workers

内容如下

hadoop101
hadoop102
hadoop103
hadoop104

#不能有空格和空行

6. 同步配置文件到所有节点