高可用集群(HA)的搭建【翻译】

转载 2004年08月21日 10:19:00
?

高可用集群的搭建

解决方案一:The mon+heartbeat+fake+coda solution

mon:一个通用的资源监控系统, 它能监控网络服务的可用性和服务节点。

heartbeat:通过“串行线”或者“UDP”,提供两个节点之间的心跳检测。

fake:通过ARP欺骗(spoofing),实现IP层的主机“接管”。

??? 服务器的故障恢复(failover)是这样处理的:“mon”后台程序在负载均衡器上运行,它负责监控集群中的“服务进程”和“服务节点”。fping.monitor每个t秒会主动检测“服务节点”是否还活着(alive);其他相关的服务监控器每隔m秒主动检测各个节点上的服务进程。比如:http.monitor能检测http服务;ftp.monitor则用来检测ftp服务;等等。当检测到“服务节点”或者“服务进程”死掉或者复活时,警报会自动的在Linux vertual server table中删除或者添加一条规则。因此,负载均衡器会自动的屏蔽掉“服务进程”或者“服务节点”的失效,并且,当它们恢复可用时,又能自动恢复提供服务。

??? 现在,负载均衡器成了一个整个系统的单一失效点,为了屏蔽掉负载均衡器(主负载均衡器)的失效,我们需要设置一个备份的负载均衡器。“fake”软件可以用在这个备份机器(从负载均衡器)上,当主负载均衡器失效时,从负载均衡器可以接管主负载均衡器的IP地址,从而对外提供服务。“heartbeat”用来检测主负载均衡器的状态,从而决定是否启用从负载均衡器上的“fake”。

??? 但是,无论是主从服务器之间的“故障恢复”或者“服务接管”,都将会引起当前已经建立好的连接的失效,这需要客户端重新发送它们的请求。?

??? 网络文件系统Coda是一个容错的分布式文件系统,它是Andrew 文件系统的后继者。引入网络文件系统,主要是为了解决集群中遇到的存储一致性。

解决方案二:The ldirectord + heartbeat solution

??? ldirectord(Linux Director Daemon)是一个单独的进程,用来监控真实服务器的服务,目前,只支持两种服务:http和https。它只需要和heartbeat一起工作。

??? ldirectord相比mon的优势有:
??? 1) 它是专门为LVS写的
??????? 它读取配置文件/etc/ha.d/xxx.cf,该文件中包含了所有的IPVS 路由表配置。当ldirectord启动时,IPVS路由表就会正确的配置。

??? 2) 它可以方便被heartbeat启动/停止。

Hadoop HA高可用集群搭建(2.7.2)

1.集群规划: 2.前期准备: 3.搭建zookeeper集群(drguo3/drguo4/drguo5)
  • Dr_Guo
  • Dr_Guo
  • 2016-03-24 22:33:12
  • 14148

HBase HA高可用集群搭建及HBase Shell简单使用

1.先搭建Hadoop HA集群(包含ZooKeeper搭建),请看这:Hadoop HA高可用集群搭建(2.7.2) 2.我只有五台机器,所以是这么规划的:drguo1/2 HMaster dr...
  • Dr_Guo
  • Dr_Guo
  • 2016-03-27 17:28:28
  • 4694

Hadoop入门之集群高可用HA的搭建及原理图

hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意:apache提供的hadoop-2.6.4的安...
  • sqh201030412
  • sqh201030412
  • 2017-08-31 18:53:31
  • 436

spark集群与spark HA高可用快速部署 spark研习第一季

1、spark 部署 标签: spark 0 apache spark项目架构 spark SQL -- spark streaming -- MLlib -- GraphX ...
  • refuil
  • refuil
  • 2016-07-22 09:15:36
  • 3821

Spark集群搭建+基于zookeeper的高可用HA

1. Spark高可用HA 1.1安装zookeeper 1.1.1下载zookeeper-3.4.6 1.1.2 解压zookeeper 1.1.3 修改ZOOKEEPER_HOME/PAT...
  • lishuan182
  • lishuan182
  • 2016-08-26 19:58:11
  • 5772

Hadoop系列-HDFS HA高可用集群

前言: 在HDFS集群的时候我们知道,NameNode只有一个,如果现在NameNode挂掉了,或者NameNode需要硬件或者软件的升级,那么势必就有单点问题。那么HDFS HA就是来解决这个问题的...
  • zhanglh046
  • zhanglh046
  • 2016-10-23 19:27:30
  • 911

Hadoop 2.0 HA高可用集群配置详解

本文介绍了Hadoop2.0的HA高可用架构,并详细记录了HDFS HA和YARN HA集群的搭建过程,最后通过运行一个MR任务对集群功能进行测试。...
  • carl810224
  • carl810224
  • 2016-08-09 10:30:26
  • 5454

Redis Cluster高可用(HA)集群环境搭建详细步骤

1.为什么要有集群由于Redis主从复制架构每个数据库都要保存整个集群中的所有数据,容易形成木桶效应,所以Redis3.0之后的版本添加特性就是集群(Cluster)2.Redis集群架构说明 架构...
  • RobertoHuang
  • RobertoHuang
  • 2017-04-26 22:17:58
  • 5107

Hadoop2.7.2之集群搭建(高可用)

如果你还没有虚拟机,请参考:http://blog.csdn.net/uq_jin/article/details/51355124 如果你还没有试过单机模式,请参考:http://blog.cs...
  • u010435203
  • u010435203
  • 2016-05-25 21:47:12
  • 13179

hadoop3.0集群搭建HA

  • 2018年02月06日 13:18
  • 59KB
  • 下载
收藏助手
不良信息举报
您举报文章:高可用集群(HA)的搭建【翻译】
举报原因:
原因补充:

(最多只允许输入30个字)