HAProxy + KeepAlived构建高可用的反向代理系统

最新推荐文章于 2024-07-23 14:35:02 发布
最新推荐文章于 2024-07-23 14:35:02 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： 负载均衡 文章标签： 服务器 authentication 负载均衡 centos server 测试

http://weizhifeng.net/tagged/%E9%AB%98%E5%8F%AF%E7%94%A8

前言

对于访问量较大的网站来说，随着流量的增加单台服务器已经无法处理所有的请求，这时候需要多台服务器对大量的请求进行分流处理，即负载均衡。而如果实现负载均衡，必须在网站的入口部署服务器（不只是一台）对这些请求进行分发，这台服务器即反向代理。由于反向代理服务器是网站的入口，其负载压力大且易遭到攻击，存在单点故障的风险，所以我们需要一个高可用的方案来实现当一台反向代理服务器宕机的时候，另一台服务器会自动接管服务。基于以上要求，我们使用HAProxy，KeepAlived来构建高可用的反向代理系统。

介绍

HAProxy是高性能的代理服务器，其可以提供7层和4层代理，具有healthcheck，负载均衡等多种特性，性能卓越，包括Twitter，Reddit，StackOverflow，GitHub在内的多家知名互联网公司在使用。

KeepAlived是一个高可用方案，通过VIP(即虚拟IP)和心跳检测来实现高可用。其原理是存在一组（两台）服务器，分别赋予Master,Backup两个角色，默认情况下Master会绑定VIP到自己的网卡上，对外提供服务。Master,Backup会在一定的时间间隔向对方发送心跳数据包来检测对方的状态，这个时间间隔一般为2秒钟，如果Backup发现Master宕机，那么Backup会发送ARP包到网关，把VIP绑定到自己的网卡，此时Backup对外提供服务，实现自动化的故障转移，当Master恢复的时候会重新接管服务。

环境

OS: CentOS Linux release 6.0 (Final) 2.6.32-71.29.1.el6.x86_64

HAProxy: 1.4.18

KeepAlived: 1.2.2

VIP: 192.168.1.99

M: 192.168.1.222

S: 192.168.1.189

架构

                    192.168.1.99
             +-----------VIP----------+   
             |                        |
             |                        |
           Master                   Backup
        192.168.1.189            192.168.1.222
        +----------+             +----------+
        | HAProxy  |             | HAProxy  |
        |keepalived|             |keepalived|
        +----------+             +----------+
             |  
             v  
    +--------+---------+ 
    |        |         |
    |        |         |
    v        v         v
+------+  +------+  +------+
| WEB1 |  | WEB2 |  | WEB3 |
+------+  +------+  +------+

安装HAProxy 
# 安装pcre
yum install pcre

wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.18.tar.gz
tar -zxvf haproxy-1.4.18.tar.gz
cd haproxy-1.4.18

# 注意编译参数：
# TARGET是指自己系统的内核版本 ARCH指定系统是32位还是64位
# CPU=native: use the build machine's specific processor optimizations
# 更多编译参数内容见源码中的README

make TARGET=linux26 ARCH=x86_64 USE_PCRE=1 CPU=native
make install 

#配置文件 /etc/haproxy.cfg
global
    log 127.0.0.1   local3
    maxconn 20000   
    uid 535  #uid和gid按照实际情况进行配置
    gid 520  
    chroot /var/chroot/haproxy
    daemon 
    nbproc 1 
defaults
   log     127.0.0.1       local3
   mode    http            
   option  httplog
   option  httpclose
   option  dontlognull
   option  forwardfor
   retries 2
   balance roundrobin 
   stats   uri     /haproxy-stats
   contimeout      5000
   clitimeout      50000
   srvtimeout      50000

frontend http-in
        bind *:80 
        default_backend pool1

backend pool1
        option httpchk HEAD / HTTP/1.0
        stats refresh 2
        server WEB1 192.168.1.189:81 weight 3 maxconn 10000 check 
        server WEB2 192.168.1.222:81 weight 3 maxconn 10000 check

查看HAProxy的状态：http://192.168.1.99/haproxy-stats，这个页面会显示HAProxy本身以及后端服务器的状态。

日志

haproxy会把日志记录发送到syslog server(CentOS6下是rsyslogd，UDP514端口)， 编辑/etc/rsyslog.conf文件，添加如下内容：

$ModLoad imudp
$UDPServerRun 514
$UDPServerAddress 127.0.0.1

local3.*                /var/log/haproxy.log

/etc/init.d/rsyslog restart

自动轮转日志，编辑/etc/logrotate.d/haproxy.cfg，添加如下内容：

/var/log/haproxy.log
{
    rotate 4
    daily
    missingok
    notifempty
    compress
    delaycompress
    sharedscripts
    postrotate
        reload rsyslog > /dev/null 2>&1 || true
    endscript
}

启动脚本： 拷贝以下内容到/etc/init.d/haproxy，并chmod +x /etc/init.d/haproxy，使用方式：/etc/init.d/haproxy start|stop|restart 
#!/bin/bash
### BEGIN INIT INFO
# Author: weizhifeng
# Date: 2011.10.19
# Description: Manage the HAProxy
# version HAProxy 1.4.18
### END INIT INFO

bin=/usr/local/sbin/haproxy
config=/etc/haproxy.cfg
pid=/tmp/haproxy.pid
opts=" -f ${config} -p ${pid} -D -V "
sleep_time=1

start() {
	echo -e "Starting HAProxy......"

	${bin} ${opts}
		
	if [ "$?" != "0" ] ; then
		sleep ${sleep_time}
		echo " failed"
		exit 1
	else
		sleep ${sleep_time}
		echo " done"
	fi
}

stop() {
	if [ ! -e ${pid} ] ; then
		echo -e "HAProxy is not running"
		exit 0
	fi
	
	echo -e "Shutting down HAProxy......"
		
	kill $(cat ${pid})
	
	if [ -e ${pid} ] ; then
		rm -f ${pid}
	fi
		
	if [ "$?" != "0" ] ; then
		sleep ${sleep_time}
		echo " failed"
		exit 1
	else
		sleep ${sleep_time}
		echo " done"
	fi
}

restart() {
	stop
	start
}

case "$1" in
	start)
		start
	;;

	stop)
		stop	
	;;


	restart)
		restart
	;;


	*)
		echo "Usage: $0 {start|stop|restart}"
		exit 1
	;;
esac

安装KeepAlived 
# 依赖库
yum install popt popt-devel

wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz
tar -zxvf keepalived-1.2.2.tar.gz
cd keepalived-1.2.2
./configure --prefix=/usr/local/keepalived
make
make install

cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/keepalived
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
mkdir -p /etc/keepalived/
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf 
chmod +x /etc/init.d/keepalived

#Master服务器上的配置 /etc/keepalived/keepalived.conf
global_defs {
   notification_email {
       user@example.com
   }
   notification_email_from mail@example.org
   smtp_server 192.168.x.x
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

#监测haproxy进程状态，每2秒执行一次
vrrp_script chk_haproxy {
    script "/usr/local/keepalived/chk_haproxy.sh"
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state MASTER #标示状态为MASTER
    interface eth0
    virtual_router_id 51
    priority 101   #MASTER权重要高于BACKUP
    advert_int 1
    mcast_src_ip 192.168.1.189 #Master服务器IP
    
    authentication {
        auth_type PASS #主从服务器验证方式
        auth_pass 1111
    }
    
    track_script {
    	chk_haproxy #监测haproxy进程状态
    }
    
    #VIP
    virtual_ipaddress {
        192.168.1.99 #虚拟IP
    }
}

#Bakcup服务器上的配置 /etc/keepalived/keepalived.conf
global_defs {
   notification_email {
   user@example.com
   }
   notification_email_from mail@example.org
   smtp_server 192.168.x.x
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
#监测haproxy进程状态，每2秒执行一次
vrrp_script chk_haproxy {
    script "/usr/local/keepalived/chk_haproxy.sh"
    interval 2
    weight 2
}

vrrp_instance VI_1 {
    state BACKUP #状态为BACKUP
    interface eth0
    virtual_router_id 51
    priority 100  #权重要低于MASTER
    advert_int 1
    mcast_src_ip 192.168.1.222 #Backup服务器的IP
    
    authentication {
        auth_type PASS
        auth_pass 1111
    }

    track_script {
    	chk_haproxy #监测haproxy进程状态
    }
               
    #VIP
    virtual_ipaddress {
        192.168.1.99 #虚拟IP
    }
}

#使用方式
/etc/init.d/keepalived start|stop|restart

chk_haproxy.sh内容 
#!/bin/bash
#
# author: weizhifeng
# description: 
# 定时查看haproxy是否存在，如果不存在则启动haproxy，
# 如果启动失败，则停止keepalived
# 
status=$(ps aux|grep haproxy | grep -v grep | grep -v bash | wc -l)

if [ "${status}" = "0" ]; then

        /etc/init.d/haproxy start

        status2=$(ps aux|grep haproxy | grep -v grep | grep -v bash |wc -l)
        if [ "${status2}" = "0"  ]; then
                /etc/init.d/keepalived stop
        fi
fi

高可用测试

1. 在Master上停止keepalived，查看系统日志，发现MASTER释放了VIP

/etc/init.d/keepalived stop
tail -f /var/log/message
Keepalived: Terminating on signal Keepalived: Stopping Keepalived v1.2.2 (11/03,2011) 
Keepalived_vrrp: Terminating VRRP child process on signal 
Keepalived_vrrp: VRRP_Instance(VI_1) removing protocol VIPs.

2. 在Backup上查看系统日志，发现Backup已经进入MASTER角色，并且绑定了VIP 192.168.1.99 
tail -f /var/log/message
Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE
Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs
Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.1.99 #在Backup上查看VIP是否已经绑定

3. 在Master上重新启动keepalived，查看系统日志，发现重新获得MASTER角色，并且绑定VIP 192.168.1.99 
/etc/init.d/keepalived start
tail -f /var/log/message
Keepalived_vrrp: VRRP_Instance(VI_1) Transition to MASTER STATE
Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE
Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs.
Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.1.99

4. 在Backup上查看系统日志，发现其重新回到BACKUP角色，并且释放VIP 
tail -f /var/log/message
Keepalived_vrrp: VRRP_Instance(VI_1) Received higher prio advert
Keepalived_vrrp: VRRP_Instance(VI_1) Entering BACKUP STATE
Keepalived_vrrp: VRRP_Instance(VI_1) removing protocol VIPs.

并发测试

我们使用webbench来对HAProxy进行并发测试

yum install ctags
wget http://home.tiscali.cz/~cz210552/distfiles/webbench-1.5.tar.gz
tar -zxvf webbench-1.5.tar.gz
cd webbench-1.5
make 
mkdir -p /usr/local/man && make install

测试环境： Dell PC Mem：2G CPU：Intel 双核 x86_64 主频3191MHZ 修改php-fpm.conf，设置PHP-FPM spawn的进程数量为100： 
pm.start_servers = 100
pm.max_spare_servers = 100

测试方法：

webbench -c 100 -t 3000 http://192.168.1.99/check.txt
webbench -c 100 -t 3000 http://192.168.1.99/test.php

测试结果： 并发访问txt文件，HAProxy的session数量为10000左右，这说明HAProxy能够hold住10000个并发连接；并发访问php文件，HAProxy的session峰值为200左右，接近于后端PHP的并发处理能力(100x2)。

参考：
http://haproxy.1wt.eu/download/1.4/doc/configuration.txt
http://kevin.vanzonneveld.net/techblog/article/haproxy_logging/

islandstar
关注
专栏目录
基于Haproxy+Keepalived构建高可用负载均衡集群shell脚本
seaskyccl的博客
02-18 46
HaProxy是一个特别适用于高可用性环境的TCP/HTTP开源的反向代理和负载均衡软件。在七层负载均衡方面的功能很强大（支持cookie track，header rewrite等等），支持双机热备，支持虚拟主机，支持健康检查，同时还提供直观的监控页面，可以清晰的监控服务集群的运行状况。同时支持Linux2.6内核中System Epoll，通过简化系统调用，大幅的提高了网络I/O性能。
hydd的Linux笔记Day40
hegusailuo的博客
11-02 386
Day40 ARP广播的问题 ​ 当客户端发起访问VIP对应的域名请求时，根据网络通信原理会产生ARP广播 ​ 因为负载均衡器和真实服务器在同一网络并且VIP设置在集群中的每个节点上 ​ 此时集群内的真实服务器会尝试回答来自客户端的ARP广播，这就会产生问题，大家都说我是VIP 内核参数说明 ​ arp_ignore(定义回复ARP广播的方式) ​ 0（默认值） ​ 回应所有本地地址ARP广播，本地地址可以配置在任意网络接口上 ​ 1 ​ 回应配置在入站网卡接口上的任意IP地址的ARP广播 ​ arp
haproxy和keepalived的个人理解（转载）
tuolaji8的专栏
10-20 9465
关于此两者，随便google一下都会有大量的文章，因此这里也不用介绍如何来进行安装和配置了。主要从一个整体方案的角度来描述什么要这样做，以及这样做所解决的问题。 所有的系统，都是先经历一个单台机器搞所有业务的时代，一个程序+一个mysql数据库，就可以满足开发及第一个版本上线的要求。随着，数据的增加以及业务的增长，这些应用就面临一个访问量的扩大以及扩展的问题。最简单的扩展就是水平扩展，原来由
haproxy+keepalived(涵盖了lvs,nginx.haproxy比较)
weixin_33941350的博客
10-25 1187
文章转载自： haproxy+keepalived    https://cloud.tencent.com/developer/article/1026385 网络四层和七层的区别   https://juejin.im/post/59a0472f5188251240632f92   Nginx、LVS、HAProxy 是目前使用最广泛的三种负载均衡软件，本人都在多个项目中实施过，通常会结合Ke...
keepalived+haproxy的主备切换
jiangmingqing123的博客
06-19 1607
使用Keepalived实现Haproxy主备切换高可用 1.案例概述 Keepalived可提供虚拟路由功能以及health-check功能，实现双机热备份高可用功能，来避免Haproxy单点故障问题，一台为主的Haproxy服务器，一台为备份Haproxy服务器，对为表现为一个虚拟IP，当主服务器出现故障时，备份服务就会接管虚拟IP，继续提供服务，因为keepalived没有配置真实服务器器所以不能做到IP漂移所以我们需要编写一个脚本让keepalived实现IP漂移并监控haproxy的状态，来实现h
haproxy+keepalived实现高可用负载均衡
weixin_33881753的博客
07-06 322
软件负载均衡一般通过两种方式来实现：基于操作系统的软负载实现和基于第三方应用的软负载实现。LVS就是基于Linux操作系统实现的一种软负载，HAProxy就是开源的并且基于第三应用实现的软负载。 HAProxy相比LVS的使用要简单很多，功能方面也很丰富。当 前，HAProxy支持两种主要的代理模式:"tcp"也即4层（大多用于邮件服务器、内部协议通信服务器等），和7层（HTTP）。在4层模式 ...
Haproxy+Keepalived+Nginx+Lamp+Nfs实现高可用集群1
08-08
本案例将通过Haproxy、Keepalived、Nginx、LAMP（Linux、Apache、MySQL、PHP）和NFS（网络文件系统）的集成，构建一个高可用的集群系统。在这个配置中，Haproxy作为负载均衡器，Keepalived用于心跳检测和故障切换，...
PHP高级工程师必知必会Nginx+keepalived+MongoDB+haproxy+Sphinx实现分布式集群部署实战视频
10-25
- 高可用集群搭建：构建基于LVS（Linux Virtual Server）架构的负载均衡系统。 - 服务监控与自动切换：确保关键业务不受单点故障影响。 ##### 3. MongoDB **定义**：MongoDB是一种开源文档数据库，属于NoSQL类型...
keepalived+haproxy+nginx-脚本
04-29
标题中的"keepalived+haproxy+nginx-脚本"指的是一个集成的高可用性和负载均衡解决方案，其中包含了三个关键组件：Keepalived、HAProxy和Nginx。这个解决方案通常用于构建高可靠的Web服务架构，确保在主服务器故障时...
Haproxy+keepalived
weixin_48705916的博客
10-22 357
Haproxy+keepalived 主机 ip地址 角色 ha1 192.168.1.10 haproxy+keepalived ha2 192.168.1.20 haproxy+keepalived 安装keepalived 两台主机都需要操作 yum install -y keepalived yum install -y keepalived 关闭防火墙以及selinux systemctl stop firewalld systemctl diables firewal
Keepalived和Haproxy
最新发布
2401_84592402的博客
07-23 729
调度器的高可用vip地址主备之间的切换，主在工作时，vip地址值在主上，主停止工作，vip飘移到备服务器在主备的优先级不变的情况下，主恢复工作，vip会飘回到主服务器1、配优先级2、配vip地址和真实服务器3、主备的id要一致4、主备的id要区分keepalive是专门为lvs打造的，但是不是为lvs专门服务的keepalive也可以使用nginx，haproxy2、keepalive+nginx实现高可用实验客户端 192.168.100.13。
Haproxy-+-Keepalived
Forgetfanhua的博客
04-17 244
#一、Haproxy 基础 软件：haproxy —主要是做负载均衡的7层，也可以做4层负载均衡 apache也可以做7层负载均衡，但是很麻烦。实际工作中没有人用。 负载均衡是通过OSI协议对应的 7层负载均衡：用的7层http协议， 4层负载均衡：用的是tcp协议加端口号做的负载均衡 ha-proxy概述： ha-proxy是一款高性能的负载均衡软件。因为其专注于负载均衡这一些事情，因...
Linux---haproxy---keepalived---web群集搭建
weixin_45986422的博客
01-02 247
(实验准备1号机haproxy,keepalived,2号机haproxy,keeplived,3号机nginx.web!,4号机nginx.web2) 准备好nginx软件包，haproxy软件包 1号机#192.168.1.1 2号机#192.168.1.2 3号机#192.168.1.10 4...
Haproxy+keepalived(高可用集群部署)
热门推荐
m0_50650953的博客
12-10 1万+
Haproxy+keepalivedHaproxy定义Haproxy应用Haproxy支持的调度算法Haproxy配置文件详解haproxy+keepalived优点项目环境主服务器配置1.haproxy配置2.keepalived配置备服务器配置1.haproxy配置（与主服务器配置相同）2.keepalived配置nginx1服务器配置nginx2服务器配置访问测试关闭主服务器漂移ip由备份服务器承担 ，继续工作Haproxy参数优化Haproxy日志管理（主备服务器都配置）关闭主服务器后在备服务器上查
linux高可用（HA）keepalived 主从备份
weixin_34129145的博客
06-10 83
利用keepalived可以实现对linux服务器的高可用性，即主从备份，一台线上服务器出故障另外一台服务器顶替它，当出故障的服务器恢复时又自动转换成主服务器，顶替它的服务器再次转换为备胎，当主服务器宕机、主服务器网卡坏掉、甚至主服务器服务挂掉（要用脚本监控实现转换）都可以自动切换到从服务器，下面针对这三种故障进行模拟。实验环境：2台rhel5.6，keepa...
Haproxy+Keepalived
NancyLCL的博客
10-25 644
5. 配置Windows的域名解析：修改"
LVS+Keepalived
mcc
12-09 219
理论支持 Keepalived工具介绍（作用） 专为LVS和HA设计的一款健康检查工具 支持故障自动切换(Failover) 支持节点健康状态检查(Health Checking) 官方网站: http://www.keepalived.orgl Keepalived实现原理 Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能 VRRP（虚拟路由冗余协议)是针对路由器的一种备份解决方案 由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务； 每个热备组内同时只有一台主路
记一次keepalived+lvs双主DR模式实验
harryxxxxx的博客
06-25 638
实验环境 CENTOS 7.5 DIP1 192.168.119.110 DIP2 192.168.119.111 RIP1 192.168.119.120 RIP2 192.168.119.121 VIP1 192.168.119.130 VIP2 192.168.119.131 双主模式需要准备两个VIP DS机器 安装 yum install -y keepaliv...
高可用集群实践：Haproxy+Keepalived+Nginx+Lamp+Nfs配置详解
"该资源是关于使用Haproxy、Keepalived、Nginx、LAMP（Linux、Apache、MySQL、PHP）以及NFS（网络文件系统）搭建高可用集群的实践教程。" 在该实验中，目标是构建一个能够处理高流量、具有故障转移能力的Web服务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值