hadoop集群启动（基础篇）

hadoop集群
centos安装及网络配置
– 虚拟机安装以在之前出过博客 点击链接
– 以及网络配置 点击链接

jdk安装
– jdk环境安装会单独出一篇博客

hadoop安装
– hadoop单独出一片博客

修改hosts文件

vi /etc/hosts
#添加以上字段 前面为ip地址 后面为hostname(方便记忆)

克隆虚拟机并修改各自ip地址

修改hostname

    vi /etc/hostname
    # 修改为相应的hostname
    # 比如hadoop151
    # :wq保存

集群配置

hadoop集群配置

配置hadoop脚本文件中jdk路径
# hadoop-env.sh
    pwd(查看当前路径)                                                                           
    /opt/module/hadoop-2.9.2
    
    vim etc/hadoop/hadoop-env.sh
    #修改java_home The java implementation to use.
    export JAVA_HOME=[你的jdk安装路径]

# yarn-env.sh
# 修改同上如下图
 

# mapred-env.sh
# 修改同上
 

配置hadoop集群配置
# vim etc/hadoop/core-site.xml (核心配置文件)

<configuration>
    <!-- 指定dnfs中nameNode地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop151:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.9.2/data/tmp</value>
    </property>
</configuration>

# vim etc/hadoop/hdfs-site.xml (hdfs配置)

    <configuration>
            <!-- 指定hdfs副本数量 -->
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>
    
        <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop153:50090</value>
        </property>
    </configuration>

# vim etc/hadoop/yarn-site.xml (yarn配置)

<configuration>
    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop152</value>
    </property>
</configuration>

# vim etc/hadoop/mapred-site.xml (mapreduce配置)
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>
** 配置完成 **

分发配置到各虚拟机

单点启动

删除数据和日志文件

pwd(查看当前目录确保没有删错文件)
/opt/module/hadoop-2.9.2
rm -rf logs data(删除这两个文件夹)

格式化文件系统

bin/hdfs namenode -format (每台都要执行) (会生成data 和 logs文件夹)
出现如下图所示字段表示格式化成功
各主机启动相应服务(具体启动查看下图)
# hadoop151
sbin/hadoop-daemon.sh start namenode (启动datanode)
sbin/hadoop-daemon.sh start namenode (启动namenode)
jps (查看启动了那些服务)

效果

# hadoop152 
# 删除logs data文件 格式化文件系统

sbin/hadoop-daemon.sh start datanode 
效果

# hadoop153

sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start secondarynamenode 
效果
** 搭建完成 **

访问http://192.168.137.151:50070/ 查看效果（ip为开启namenode服务的虚拟机ip)

————————————————
版权声明：本文为CSDN博主「Quentin_Coldwater」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/quntinli/article/details/109008966