Hadoop分布式集群配置

qq_53877854

已于 2024-09-26 23:48:22 修改

阅读量999

点赞数 7

文章标签： eclipse java ide

于 2024-09-26 23:47:53 首次发布

本文链接：https://blog.csdn.net/qq_53877854/article/details/142580256

版权

Hadoop分布式集群配置

在Hadoop的集群中，有一个NameNode，一个ResourceManager。在高可靠的集群环境中，可以拥有两个NameNode和两个ResourceManager；在Hadoop 3版本以后，同一个NameService可以拥有3个NameNode。由于NameNode和ResourceManager是两个主要的服务，建议将它们部署到不同的服务器上。

步骤01 准备工作。

以三台服务器为集群环境，做以下准备工作。

(1) 所有主机安装JDK1.8+。建议将JDK安装到不同的主机的相同目录下，这样可以减少修改配置文件的次数。

(2) 在主节点（即执行start-dfs.sh和start-yarn.sh的主机）上向所有其他主机做SSH免密码登录。

(3) 修改所有主机的主机名称。

(4) 配置所有主机的hosts文件，添加主机名和IP的映射如下：

192.168.56.101 server101

192.168.56.102 server102

192.168.56.103 server103

(5) 关闭所有主机上的防火墙，使用以下命令：

systemctl stop firewalld

systemctl disable firewalld

(6) 完整的配置如表所示。

从表中可以看出，server101运行的进程比较多，且NameNode运行在上面，所以这台主机需要更多的内存。

特别说明，ZooKeeper集群安装，HBase的集群安装与此集群主机配置表相同，都采用表中所示的三台主机，具体配置内容详见各实验的具体描述。

步骤02 在server101上安装Hadoop。可以将Hadoop安装到任意的目录下，如在根目录下创建/app然后授予hadoop用户即可。将hadoop-3.4.0.tar.gz解压到/app目录下，并配置/app目录属hadoop用户。

$ sudo tar -zxvf hadoop3.4.0.tag.gz -C /app/

将/app目录及子目录，授权给hadoop用户和hadoop组：

$sudo chown hadoop:hadoop -R /app

配置hadoop-env.sh文件：

export JAVA_HOME=/usr/java/jdk1.8.0_281

配置文件core-site.xml：

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://server101:8020</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/app/datas/hadoop</value>
        </property>
    </configuration>

配置文件hdfs-site.xml：

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
        <property>
            <name>dfs.permissions.enabled</name>
            <value>false</value>
        </property>
    </configuration>

配置文件mapred-site.xml：

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

配置文件yarn-site.xml：

    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>server101</value>
        </property>
        <property>
            <name>yarn.application.classpath</name>
            <value>请自行执行hadoop classpath命令并将结果填入</value>
        </property>
    </configuration>

配置workers配置文件：workers配置文件用于配置执行DataNode和NodeManager的节点。