四.1 hadoop 3.1.3 非HA 集群安装部署

最新推荐文章于 2023-09-14 22:32:45 发布

andyonlines

最新推荐文章于 2023-09-14 22:32:45 发布

阅读量119

点赞数

分类专栏： Hadoop 文章标签： hadoop 大数据

本文链接：https://blog.csdn.net/andyonlines/article/details/113091518

版权

本文详细介绍了如何部署Hadoop 3.1.3非高可用（HA）集群，包括配置集群、修改环境变量文件、配置核心站点、HDFS、YARN和MapReduce站点文件，以及启动、访问和测试集群的过程。

摘要由CSDN通过智能技术生成

文章目录

1 集群部署
2 修改hadoop-env.sh,yarn-env.sh,mapred-env.sh文件
3 修改core-site.xml文件
4 hdfs-site.xml
5 yarn-site.xml
6 mapred-site.xml
7 workers文件
8 启动停止
9访问页面地址
- 9.1 yarn:
- 9.2 hdfs
10 测试

1 集群部署

在这里插入图片描述

2 修改hadoop-env.sh,yarn-env.sh,mapred-env.sh文件

在上面三个文件中添加jdk 路径

export JAVA_HOME=/opt/module/jdk1.8.0_144

3 修改core-site.xml文件


<configuration>

 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop105:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <property>
        <name>hadoop.proxyuser.andy.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.andy.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>andy</value>
    </property>

    <property>
        <name>io.compression.codecs</name>