hadoop 3.2.1集群和2.7 版本部署的区别

最新推荐文章于 2022-03-24 15:51:22 发布

andyonlines

最新推荐文章于 2022-03-24 15:51:22 发布

阅读量1.6k

点赞数 1

分类专栏：大数据问题 Hadoop 文章标签： hadoop hdfs 大数据

本文链接：https://blog.csdn.net/andyonlines/article/details/105019003

版权

Hadoop 3.2.1集群相较于2.7版本，Namenode的默认端口改为9870，集群配置文件从slaves转变为workers。配置文件如hadoop-env.sh、mapred-env.sh和yarn-env.sh需添加JAVA_HOME。同时，需要在配置目录下创建workers文件，用于指定集群节点。

摘要由CSDN通过智能技术生成

namenode默认端口号从50070变为9870
群起集群的配置文件从slaves变为workers.
hadoop3集群(不是高可用)的配置如下:
hadoop-env.sh
mapred-env.sh
yarn-env.sh
三个文件添加JAVA_HOME

export JAVA_HOME=/home/andy/work/module/jdk

core-site.xml:


<configuration>
        <!-- 指定HDFS中NameNode的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://xiaoai04:9000</value>
        </property>

        <!-- 指定Hadoop运行时产生文件的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/andy/work/module/hadoop/data/tmp</value>
        </property>
</configuration>

hdfs-site.xml:

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>

        <!-- 指定Hadoop辅助名称节点主机配置 -->
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>xiaoai06:50090</value>