Hadoop集群之《伪分布集群搭建》

Hadoop伪分布集群搭建指南

最新推荐文章于 2024-09-18 23:17:43 发布

原创

最新推荐文章于 2024-09-18 23:17:43 发布 · 507 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #伪分布 #集群 #大数据

本文档详细介绍了如何在Linux环境下配置Hadoop 2.7.1的伪分布集群，包括设置JAVA_HOME和HADOOP_HOME环境变量，配置七大核心配置文件如hdfs-site.xml和yarn-site.xml，以及解决在搭建过程中遇到的问题，如datanode无法启动的解决办法。

文章目录

版本：
1、先配置JAVA_HOME和HADOOP_HOME在/etc/profile的配置
2、hadoop的七大配置文件
3、搭建过程中更能会报的错
4、搭建完伪分布，如果需要还可以继续搭建完全分布

版本：

hadoop hadoop-2.7.1_64bit.tar.gz
jdk jdk-8u144-linux-x64.tar.gz

1、先配置JAVA_HOME和HADOOP_HOME在/etc/profile的配置

在这里插入图片描述

2、hadoop的七大配置文件

2,1、后缀是 env.sh 的

hadoop-env.sh
yarn-env.sh
mapred-env.sh
(sh后缀的都是配置JAVA_HOME路径的)

2.2、hdfs-site.xml

<configuration>
<!--指定hdfs保存数据副本的数量，包括自己，默认值是3-->
        <!--如果是伪分布模式，此值是1-->
        <property>
                <name>dfs.replication</name>
                <value>副本数量</value>
        </property>
        <!--secondary的地址    伪分布所以namenode和secondarynamenode放在一块-->
        <property>
                <name>