在虚拟机中搭建高可用集群,超详解,保姆级教学

本文提供了一种在虚拟机中搭建高可用Hadoop集群的详细教程,包括配置Hadoop环境、设置Java环境变量、修改XML配置文件、使用脚本同步配置、启动集群服务以及初始化Zookeeper等关键步骤。
摘要由CSDN通过智能技术生成

配置hadoop环境看我这篇博客

CSDN

关于zookeeper搭建看我这篇博客。包括呢单机集群

CSDN

先确定你的高可用集群分布表

我的是,一定要记住自己的到时候配置xml的时候要对照自己的来

接着启动虚拟机开始搭建,准备4台虚拟机

 

首先进入

[root@gree2 soft]# cd ./hadoop260/etc/hadoop

 

开始配置xml和jdk环境变量


首先修改下面三个里面的Java变量
[root@gree2 hadoop]# vi ./hadoop-env.sh 在25行
[root@gree2 hadoop]# vi ./mapred-env.sh 在16行前面的#删掉
[root@gree2 hadoop]# vi ./yarn-env.sh 在23行#删掉
带有如下行的吧后面的路径改为jdk安装目录路径
export JAVA_HOME=/opt/soft/jdk180

举例[root@gree2 hadoop]# vi ./hadoop-env.sh里面的java_home路径。其他2个一样

 

接着配置

[root@gree2 hadoop]# vi ./core-site.xml 


<configuration>
      <property>
 <!-- HDFS namenode地址 -->
         <name>fs.defaultFS</name>
        <value>hdfs://mycluser/</value>
     </property>
     <property>
 <!-- hadoop 工作目录 -->
          <name>hadoop.tmp.dir</name>
         <value>/opt/soft/hadoop260/hadooptmp/</value>
     </property>

 <!-- 指定zookeeper集群访问地址  -->
     <property>
       <name>ha.zookeeper.quorum</name>
      <value>gree4:2181,gree1:2181,gree5:2181</value>
    </property>
<!-- 配置为了解决以后其他组件连接HDFS集群  -->
    <property>
        <name>hadoop.proxyuser.bigdata.hosts</name>
        <value>*</value>
     </property>
     <property>
        <name>hadoop.proxyuser.bigdata.groups</name>
        <value>*</value>
    </property>
</configuration>

 

然后配置[root@gree2 hadoop]# vi ./hdfs-site.xml

<configuration>
<!--  指定副本数
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值