高可用集群配置搭建详细过程

已于 2023-04-07 12:20:23 修改
阅读量658 收藏
点赞数 2
文章标签： hadoop zookeeper
于 2022-11-24 17:12:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jy745612/article/details/128020486
版权

配置节点

创建三个节点
Hostname分别更改为node-01,node-02,node-03
勾选Connect automatically

在这里插入图片描述

设置密码111111

在这里插入图片描述

时区选上海，安装完之后reboot

在这里插入图片描述

以node-01为例（三个都需配置）

vi /etc/hosts

加入三个节点的主机名和IP地址

在这里插入图片描述

vi /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO改成static
后面加入四行内容
IP地址
网关
子网掩码
DNS
在这里插入图片描述reboot

用户名root
密码111111

ping www.baidu.com

在这里插入图片描述

说明配置成功

换国内源

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
vi /etc/yum.repos.d/CentOS-Base.repo

复制以下内容

[base]
name=CentOS-6.10 - Base - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos-vault/6.10/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos-vault/RPM-GPG-KEY-CentOS-6
 
#released updates 
[updates]
name=CentOS-6.10 - Updates - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos-vault/6.10/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos-vault/RPM-GPG-KEY-CentOS-6
 
#additional packages that may be useful
[extras]
name=CentOS-6.10 - Extras - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos-vault/6.10/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos-vault/RPM-GPG-KEY-CentOS-6
 
#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-6.10 - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos-vault/6.10/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos-vault/RPM-GPG-KEY-CentOS-6
 
#contrib - packages by Centos Users
[contrib]
name=CentOS-6.10 - Contrib - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos-vault/6.10/contrib/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos-vault/RPM-GPG-KEY-CentOS-6

保存退出

yum clean all && yum makecache
yum repolist

在这里插入图片描述

换源成功

ssh免密登录

ssh-keygen -t rsa

连续Enter四次

密码111111

ssh-copy-id node-01

ssh-copy-id node-02

ssh-copy-id node-03

在这里插入图片描述

配置文件

创建文件夹

mkdir -p /export/data
mkdir -p /export/servers
mkdir -p /export/software

安装rz命令


cd /export/software
yum   -y  install  lrzsz

rz

上床hadoop,jdk,zookeeper三个包，上传完之后解压

tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers/
tar -zxvf zookeeper-3.4.10.tar.gz -C /export/servers/
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/servers/

将jdk改名

cd /export/servers
mv jdk1.8.0_161 jdk

配置环境变量

vi /etc/profile

最后添加以下内容

export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZK_HOME/bin
export ZK_HOME=/export/servers/zookeeper-3.4.10

在这里插入图片描述

保存退出

修改zoo.cfg文件

cd /export/servers/zookeeper-3.4.10/conf/
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

替换

dataDir=/export/data/zookeeper/zkdata

添加

server.1=node-01:2888:3888
server.2=node-02:2888:3888
server.3=node-03:2888:3888

在这里插入图片描述

保存退出

创建myid文件

mkdir -p /export/data/zookeeper/zkdata
cd /export/data/zookeeper/zkdata
echo 1 > myid
cat myid

使环境变量生效

source /etc/profile

查看java和hadoop版本

java -version
hadoop version

在这里插入图片描述
说明环境配置成功

内容配置

进入hadoop目录，修改文件内容

cd /export/servers/hadoop-2.7.4/etc/hadoop/
vi hadoop-env.sh

找到相应位置，替换

export JAVA_HOME=/export/servers/jdk

保存退出

修改core-site.xml文件

vi core-site.xml

添加内容

<configuration>
	<!-- 指定hdfs的nameservice为ns1 -->
 	<property>
      		<name>fs.defaultFS</name>
      		<value>hdfs://ns1</value>
 	</property>
	<!--指定hadoop数据临时存放目录-->
 	<property>
      		<name>hadoop.tmp.dir</name>
      		<value>/export/servers/hadoop-2.7.4/tmp</value>
 	</property>
 	<!--指定zookeeper地址-->
 	<property>
      		<name>ha.zookeeper.quorum</name>
      		<value>node-01:2181,node-02:2181,node-03:2181</value>
 	</property>
</configuration>

保存退出

修改hdfs-site.xml

vi hdfs-site.xml

<configuration>
	<!-- 设置副本个数 -->
<property>
     <name>dfs.replication</name>
     <value>2</value>
</property>

<!-- 设置namenode.name目录 -->
  <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/export/data/hadoop/name</value>
  </property>

<!-- 设置datanode.data目录 -->
<property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/export/data/hadoop/data</value>
  </property>

  <!-- 开启WebHDFS -->
  <property>
     <name>dfs.webhdfs.enabled</name>
     <value>true</value>
<!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 -->
  </property>

<!-- 指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
  <property>
      <name>dfs.nameservices</name>
      <value>ns1</value>
  </property>

  <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
  <property>
     <name>dfs.ha.namenodes.ns1</name>
     <value>nn1,nn2</value>
  </property>

  <!-- nn1的RPC通信地址 -->
  <property>
     <name>dfs.namenode.rpc-address.ns1.nn1</name>
     <value>node-01:9000</value>
  </property>

  <!-- nn1的http通信地址 -->
  <property>
      <name>dfs.namenode.http-address.ns1.nn1</name>
      <value>node-01:50070</value>
  </property>

  <!-- nn2的RPC通信地址 -->
  <property>
      <name>dfs.namenode.rpc-address.ns1.nn2</name>
      <value>node-02:9000</value>
  </property>

  <!-- nn2的http通信地址 -->
  <property>
      <name>dfs.namenode.http-address.ns1.nn2</name>
      <value>node-02:50070</value>
  </property>

  <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
  <property>
       <name>dfs.namenode.shared.edits.dir</name>
       <value>qjournal://node-01:8485;node-02:8485;node-03:8485/ns1</value>
  </property>

  <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
  <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/export/data/hadoop/journaldata</value>
  </property>

  <!-- 开启NameNode故障时自动切换 -->
  <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
  </property>

  <!-- 配置失败自动切换实现方式 -->
  <property>
          <name>dfs.client.failover.proxy.provider.ns1</name>
          <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行 -->
  <property>
           <name>dfs.ha.fencing.methods</name>
           <value>
	sshfence
	shell(/bin/true)
           </value>
  </property>

  <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
  <property>
          <name>dfs.ha.fencing.ssh.private-key-files</name>
          <value>/root/.ssh/id_rsa</value>
  </property>

<!-- 配置sshfence隔离机制超时时间 -->
  <property>
          <name>dfs.ha.fencing.ssh.connect-timeout</name>
          <value>300000</value>
  </property>

</configuration>

保存退出

修改mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

添加

<configuration>
	<!--指定MapReduce框架为YARN方式-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

</configuration>

退出

修改yarn-site.xml

vi yarn-site.xml

<configuration>
<property>
	<name>yarn.nodemanager.resource.memory-mb</name>
	<value>2048</value>
</property>

<property>
	<name>yarn.scheduluer.maximum-allocation-mb</name>
	<value>2048</value>
</property>

<property>
	<name>yarn.nodemanager.resource.cpu-vcores</name>
	<value>1</value>
</property>

<!--启用resourcemanager HA-->
<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>

<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yrc</value>
</property>

<!--指定resourcemanager的名称-->
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property>

<!--配置rm1的主机-->
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>node-01</value>
</property>

<!--配置rm2的主机-->
<property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>node-02</value>
</property>

<!--zookeeper集群地址-->
<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>node-01:2181,node-02:2181,node-03:2181</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

</configuration>

退出

修改slaves

vi slaves

添加

node-01
node-02
node-03

在这里插入图片描述

文件分发

scp -r /export/servers/zookeeper-3.4.10 node-02:/export/servers
scp -r /export/servers/zookeeper-3.4.10 node-03:/export/servers

scp -r /export/data/zookeeper/ node-02:/export/data/
scp -r /export/data/zookeeper/ node-03:/export/data/

将profile文件分发至node-02和node-03服务器上

scp /etc/profile node-02:/etc/profile
scp /etc/profile node-03:/etc/profile
scp -r /export/ node-02:/
scp -r /export/ node-03:/

分别在node-02,node-03的zkdata目录下新建名称为myid，内容分别为2，3的文件

在node-02操作

cd /export/data/zookeeper/zkdata
echo 2 > myid

在node-03操作

cd /export/data/zookeeper/zkdata
echo 3 > myid

使环境变量生效，三个节点都执行

source /etc/profile

关闭防火墙 ，三个节点都执行

service iptables stop	
chkconfig iptables off

打开window下的C:\Windows\System32\drivers\etc打开hosts文件，在文件末添加以下内容

192.168.121.131 node-01
192.168.121.132 node-02
192.168.121.133 node-03

在这里插入图片描述

##启动zookeeper服务

cd /export/servers/zookeeper-3.4.10/bin
./zkServer.sh start
./zkServer.sh status

启动集群各个节点监控namenode的管理日志的journalnode，(1,2,3都执行)

hadoop-daemon.sh start journalnode

格式化namenode，并将目录复制到2中(1执行)

hadoop namenode -format
scp -r /export/data/hadoop node-02:/export/data/

格式化ZKFC

hdfs zkfc -formatZK	

start-dfs.sh			
start-yarn.sh

在这里插入图片描述集群启动成功

Aurora-jy
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用Yarn进行高可用性部署的实践
禅与计算机程序设计艺术
06-26 4016
[toc] 《4. 使用 Yarn 进行高可用性部署的实践》 引言 4.1 背景介绍 随着互联网业务的快速发展，高可用性部署已经成为大型分布式系统的重要组成部分。在众多部署工具中，Yarn 是一个值得信赖的选择。Ya
Hadoop高可用集群搭建步骤
weixin_51104731的博客
07-27 1804
搭建hadoo高可用集群的详细步骤
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 8654
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
手把手Linux高可hadoop集群的搭建
最新发布
2301_79810514的博客
06-07 787
在搭建高可用集群之前，如果搭建了完全分布式hadoop，先执行stop-all.sh停掉所有的服务，只保留jdk和zookeeper的2个服务，然后再去搭建。为了确保ZooKeeper集群能够通过ZKFC为HDFS提供高可用，在****初次启动****Hadoop高可用集群之前需要进行格式化ZKFC的操作。1）分别在虚拟机hadoop01、hadoop02和hadoop03中启动JournalNode。1）配置Hadoop运行时环境 vi hadoop-env.sh。3）同步NameNode。
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2809
HDFS HA 高可用搭建详细图文教程
七、Hadoop系统应用之搭建Hadoop高可用集群（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
weixin_42051846的博客
12-16 2320
Hadoop系统应用实验之搭建Hadoop高可用集群，熟悉Hadoop高可用集群的搭建过程，WIN10系统，虚拟机软件VMware Workstation 15.5 PRO，Linux版本CentOS-6.7，超详细步骤配图详解，对新手友好。
基于高可用的HDFS分布式集群搭建Yarn
PowerBlogger的博客
10-18 244
高可用的集群搭建可以参考博主的另一篇博客 https://blog.csdn.net/PowerBlogger/article/details/83018127 集群规划： 基于HDFS高可用分布式集群搭建yarn步骤： 找到hadoop安装目录下的 mapred-site.xml.template ，将其更名为mapred-site.xml ， mv mapred-site.xml.temp...
Springcloud eureka搭建高可用集群过程图解
08-19
Springcloud eureka搭建高可用集群过程图解 Springcloud eureka搭建高可用集群是现代软件开发中的一种常见架构模式，目的是为了提高系统的可用性和扩展性。在本文中，我们将详细介绍如何使用Springcloud eureka搭建...
搭建高可用mongodb集群（一）——配置mongodb
03-04
近年来，NoSQL数据库已得到了长足的发展，更成为了许多机构追求性能的第一选择，而在这些技术堆栈中，MongoDB无疑是人气最高的一个，这里为大家分享高可用MongoDB集群的搭建。传统的关系数据库具有不错的性能及稳定...
CentOS 7下搭建高可用集群
01-09
本文以两台机器实现双集热备高可用集群，主机名node1的IP为192.168.122.168 ，主机名node2的IP为192.168.122.169 。 　一、安装集群软件 　必须软件pcs，pacemaker，corosync，fence-agents-all，如果需要配置相关...
mysql NDBcluster高可用集群介绍及部署搭建说明
05-27
本资源提供了一份详细的MySQL NDB Cluster高可用集群的介绍及部署搭建说明。NDB Cluster是MySQL数据库管理系统的一个特殊版本，它提供了集群级别的数据同步和自动故障转移，确保数据的高可用性和持久性。 内容亮点...
分布式集群高可用搭建整理
05-30
hadoop安装的整理：hadoop高可用性集群配置，整合了包含hadoop，hbase等集群的安装的配置文件的设置
HadoopHA高可用集群配置 yarn-site.xml
07-07
HadoopHA高可用集群配置 yarn-site.xml yarn两台namenode配置不同
大数据之Hadoop2
qq_43502858的博客
06-05 209
大数据之Hadoop2.0入门 1.大数据概念介绍 大数据特性与应用 特性：多，快，繁； 大数据起源于社交网络，发展于电商平台， 大数据的特征：快速的数据流转（Velocity），多样的数据类型（Variety），海量的数据规模（Volume），发现数据价值（Value）。 Volume：数据量大 TB，PB Variety：数据多种多样， Veracity：真实性，数据的准确性...
Hadoop HA(HDFS高可用)集群搭建
qq_57193542的博客
09-28 508
本文搭建hadoop的环境为 centos7.9 Hadoop3.1.3 jdk-8u301 zookeeper-3.4.6，我们首先需要准备好三台虚拟机，修改好主机名，设置静态IP，关闭防火墙，关闭selinux，以其中一台master节点为例具体操作如下 [root@master ~]# yum -y install vim [root@master ~]# vim /etc/hostname #只有一行，改为master,其他两台分别改为slave1,slave2 [root@master ~]#
【Hadoop】高可用集群搭建
你不来，再美的天地，都狼藉 ~
05-22 4323
一文带你了解Hadoop的HA高可用搭建!
Hadoop 高可用集群完全分布式安装教程一篇就够用（zookeeper、spark、hbase、mysql、hive)
m0_67821723的博客
12-08 2466
Hadoop 高可用集群完全分布式安装教程（zookeeper、spark、hbase、mysql、hive）
YARN/MRv2 Resource Manager深入剖析—RM总体架构
caodaoxi的专栏
10-23 286
在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationManager）。 ResourceManager主要由以下几个部分组成： 用户交互 YARN分别针对普通用户，管理员和Web提供了三种对外服务，分别对应ClientRM...
Keepalived+Nginx+Tomcat 高可用集群搭建实践教程
本文档详细记录了在Linux环境下使用Keepalived配置Nginx和Tomcat实现高可用集群的实战过程。首先，作者从Tomcat高可用集群的准备工作开始，包括软件环境的设置，如在CentOS 7.7系统上安装必要的依赖软件，如GCC、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值