2.hadoop-3.1.3 安装和配置-CSDN博客

本文链接：https://blog.csdn.net/shenjianyu_rex/article/details/108405237

本文详细介绍了Hadoop 3.1.3的安装和配置过程，包括完全分布式模式的集群部署规划，核心配置文件、HDFS、YARN等的配置，启动集群的注意事项，以及常用配置和调优，如配置历史服务器、日志聚集、HDFS多目录存储、LZO压缩支持和YARN参数调优。

摘要由CSDN通过智能技术生成

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

1.hadoop 安装

1.1 解压安装

[root@node09 ~]#   cd /opt/software/
[root@node09 software]#  tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

1.2 将Hadoop添加到环境变量

[root@node09 hadoop-3.1.3]# sudo vim /etc/profile.d/my_env.sh

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

[root@node09 hadoop-3.1.3]# source /etc/profile.d/my_env.sh

1.3 测试是否安装成功

[root@node09 hadoop-3.1.3]# hadoop version

2.完全分布式模式配置

2.1集群部署规划

注意：NameNode和SecondaryNameNode不要安装在同一台服务器
注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

节点	node06	node07	node08	node09	node10
hdfs	DataNode	DataNode	DataNode	NameNode DataNode	SecondaryNameNode DataNode
yarn	NodeManager	NodeManager	NodeManager	NodeManager ResourceManager	NodeManager ResourceManager

2.2 配置集群

（1）核心配置文件 core-site.xml

[root@node09 hadoop-3.1.3]# cd /opt/module/hadoop-3.1.3/etc/hadoop/
[root@node09 hadoop]# vim core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node09:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <property>
        <name>hadoop.proxyuser.glory.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.glory.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>glory</value>
    </property>
</configuration>