FastDFS蛋疼的集群和负载均衡(十八)之LVS+Keepalived双主模式

最新推荐文章于 2024-03-06 16:08:50 发布
最新推荐文章于 2024-03-06 16:08:50 发布
阅读量540 收藏
点赞数 1
分类专栏： 架构师成长之路
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22791091/article/details/80742505
版权

diary_report.jpg

Interesting things

我们之前的Keepalived+LVS单主模式，是只有一台lvs工作，这会造成资源浪费，可以采用双主结构，让两台lvs都进行工作，采用dns轮询方式，当用户访问域名通过dns轮询每天lvs，双主结构需要2个vip，这2个vip需要绑定域名。

同样，在每台lvs上安装keepalived软件，当keepalived检测到其中一个lvs宕机则将宕机的vip漂移到活动lvs上，当lvs恢复则vip又重新漂移回来。

附上我画的拓扑图
初始状态

image.png

其中一个主机宕机

image.png

主机恢复
image.png

所需环境
vip1 192.168.12.101
vip2 192.168.12.102
lvs_master1 192.168.12.12
lvs_master2 192.168.12.13
nginx1 192.168.12.2
nginx2 192.168.12.3
tomcat1 192.168.12.6
tomcat2 192.168.12.7

What did you do today

双主模式相比主从环境，区别在于：
1.DNS轮询。
2.LVS负载均衡层需要2个vip。比如192.168.12.12和192.168.12.13
3.后端的realServer上要绑定这2个vip到lo本地回环设备上
4.keepalived.conf的配置相比于上面的主从模式有所不同。

  • 在192.168.12.2和192.168.12.3机器要绑定2个vip到本地回环口lo上(分别绑定lo:0和lo:1),所以需要在/etc/init.d/下编写double_master_lvsdr0和double_master_lvsdr1脚本，具体如下：
#!/bin/sh
VIP=192.168.12.101
. /etc/rc.d/init.d/functions

case "$1" in

start)
    /sbin/ifconfig lo down
    /sbin/ifconfig lo up
    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
    /sbin/sysctl -p >/dev/null 2>&1
    /sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 up  
    /sbin/route add -host $VIP dev lo:0
    echo "LVS-DR real server starts successfully.\n"
    ;;
stop)
    /sbin/ifconfig lo:0 down
    /sbin/route del $VIP >/dev/null 2>&1
    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "LVS-DR real server stopped.\n"
    ;;
status)
    isLoOn=`/sbin/ifconfig lo:0 | grep "$VIP"`
    isRoOn=`/bin/netstat -rn | grep "$VIP"`
    if [ "$isLoON" == "" -a "$isRoOn" == "" ]; then
        echo "LVS-DR real server has run yet."
    else
        echo "LVS-DR real server is running."
    fi
    exit 3
    ;;
*)
    echo "Usage: $0 {start|stop|status}"
    exit 1
esac
exit 0
#!/bin/sh
VIP=192.168.12.102
. /etc/rc.d/init.d/functions

case "$1" in

start)
    /sbin/ifconfig lo down
    /sbin/ifconfig lo up
    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
    /sbin/sysctl -p >/dev/null 2>&1
    /sbin/ifconfig lo:1 $VIP netmask 255.255.255.255 up   
    /sbin/route add -host $VIP dev lo:1
    echo "LVS-DR real server starts successfully.\n"
    ;;
stop)
    /sbin/ifconfig lo:1 down
    /sbin/route del $VIP >/dev/null 2>&1
    echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
    echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
    echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "LVS-DR real server stopped.\n"
    ;;
status)
    isLoOn=`/sbin/ifconfig lo:1 | grep "$VIP"`
    isRoOn=`/bin/netstat -rn | grep "$VIP"`
    if [ "$isLoON" == "" -a "$isRoOn" == "" ]; then
        echo "LVS-DR real server has run yet."
    else
        echo "LVS-DR real server is running."
    fi
    exit 3
    ;;
*)
    echo "Usage: $0 {start|stop|status}"
    exit 1
esac
exit 0

  • 将double_master_lvsdr0和double_master_lvsdr1设置开机启动

    [root@localhost init.d]# chmod +x double_master_lvsdr0
    [root@localhost init.d]# chmod +x double_master_lvsdr1
    [root@localhost init.d]# echo “/etc/init.d/double_master_lvsdr0” >> /etc/rc.d/rc.local
    [root@localhost init.d]# echo “/etc/init.d/double_master_lvsdr1” >> /etc/rc.d/rc.local
    image.png

  • 启动double_master_lvsdr0和double_master_lvsdr1脚本
    image.png

  • 查看192.168.12.2和192.168.12.3，发现vip已经成功绑定到本地回环口lo上了。
    ![image.png
    ](http://upload-images.jianshu.io/upload_images/4636177-adea5a03fe4e034f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

  • 在lvs_master1和lvs_master2打开ip_forward路由转发功能

    [root@localhost ~]# echo “1” > /proc/sys/net/ipv4/ip_forward

  • lvs_master1上的keepalived.conf配置如下：

! Configuration File for keepalived

global_defs {
   router_id LVS_MASTER
}

vrrp_script check_lvs {
   script "/etc/keepalived/lvs_check.sh"
   interval 2
   weight  -20
}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }

    track_script {
        check_lvs
    }

    virtual_ipaddress {
        192.168.12.101
    }
}

vrrp_instance VI_2 {
    state BACKUP
    interface eth0
    virtual_router_id 52
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }

    track_script {
        check_lvs
    }

    virtual_ipaddress {
        192.168.12.102
    }
}

virtual_server 192.168.12.101 80 {
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    #nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP


    real_server 192.168.12.2 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
    real_server 192.168.12.3 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}


virtual_server 192.168.12.102 80 {
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    #nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP


    real_server 192.168.12.2 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
    real_server 192.168.12.3 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}
  • lvs_master2中的keepalived配置如下:
! Configuration File for keepalived

global_defs {
   router_id LVS_BACKUP
}

vrrp_script check_lvs {
   script "/etc/keepalived/lvs_check.sh"
   interval 2
   weight  -20
}

vrrp_instance VI_1 {
    state BACKUP        
    interface eth0           
    virtual_router_id 51     
    priority 90             
    advert_int 1             
    authentication {
        auth_type PASS       
        auth_pass 1111       
    }

    track_script {
        check_lvs
    }

    virtual_ipaddress {
        192.168.12.101       
    }
}

vrrp_instance VI_2 {
    state MASTER         
    interface eth0         
    virtual_router_id 52 
    priority 100          
    advert_int 1          
    authentication {
        auth_type PASS     
        auth_pass 1111     
    }

    track_script {
        check_lvs
    }

    virtual_ipaddress {
        192.168.12.102   
    }
}

virtual_server 192.168.12.101 80 {
    delay_loop 6             
    lb_algo wrr              
    lb_kind DR               
    #nat_mask 255.255.255.0
    persistence_timeout 50   
    protocol TCP            


    real_server 192.168.12.2 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
    real_server 192.168.12.3 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}


virtual_server 192.168.12.102 80 {
    delay_loop 6             
    lb_algo wrr              
    lb_kind DR               
    #nat_mask 255.255.255.0
    persistence_timeout 50   
    protocol TCP            


    real_server 192.168.12.2 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
    real_server 192.168.12.3 80 {
        weight 3
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}
  • 编写lvs_check.sh脚本。
a=`ipvsadm -ln`
str="Route"
bb=`echo $aa|grep $str|wc -l`
if [ $bb = 0 ];then     
    sleep 3
    aa=`ipvsadm -ln`
    bb=`echo $aa|grep $str|wc -l`
    if [ $bb = 0 ];then
        killall keepalived
    fi
fi

  • 启动192.168.12.2和192.16812.3的nginx、double_master_lvsdr0、double_master_lvsdr1服务。启动192.168.12.6和192.168.12.7的tomcat。

  • 我们查看lvs_master1的eth0节点信息，发现绑定了vip1(192.168.12.101)
    image.png

  • 查看lvs_master2的eth0节点信息，发现绑定了vip2(192.168.12.102)
    image.png

  • 查看lvs_master1的lvs以及realserver的信息。
    image.png

  • 查看lvs_master2的lvs以及realserver的信息
    image.png

  • 修改hosts文件(C:\Windows\System32\drivers\etc\hosts)，指定cmaxiaoma.mayday.com对应的2个vip。(在hosts里这样设置，达不到负载均衡，只会优先访问192.168.12.101)
    image.png

  • 访问cmazxiaoma.mayday.com
    image.png

  • 我们停止掉lvs_master1.
    image.png

  • 当我们又恢复lvs_master1.vip1又回到了lvs_master1手里，而lvs_master2又失去了vip1。
    image.png
    image.png

  • 在lvs_master2的eth0以及lvs、RealServer信息。
    image.png
    image.png

Summary

今天加班就到这里了，回去要照顾女朋友了！

cmazxiaoma
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
FastDFS蛋疼的集群和负载均衡(十二)之浅谈负载均衡
cmazxiaoma的博客
06-20 1375
Interesting things 学习负载均衡技术。 What did you do today 什么是负载均衡? 一台普通服务器的处理能力是有限的，假如能达到每秒几万个到几十万个请求， 但是却无法再一秒钟内处理上百万个甚至更多的请求，但若能将多台这样的服务器组成一个系统，并通过软件技术将所有请求平均分配给所有服务器，那么这个系统就完全拥有每秒钟处理...
FastDFS蛋疼的集群和负载均衡(十六)之LVS+Keepalived主备模式
cmazxiaoma的博客
06-20 689
Interesting things 接着上一篇继续延伸 准备环境 vip 192.168.12.100 lvs_director_master 192.168.12.4 lvs_director_slave 192.168.12.8 nginx1 192.168.12.2 nginx2 192.168.12.3 tomcat1 192.1...
FastDFS蛋疼的集群和负载均衡(十七)之解决LVS+Keepalived遇到的问题
weixin_33884611的博客
06-18 163
###Interesting things 我在配置LVS+Keepalived遇到几个比较棘手的问题，于是乎记录总结一波。 ###What did you do today 问题1：首先就是主备lvs开启防火墙之后，主备lvs的eth0节点都会出现虚拟ip192.168.12.100。我之前的方法是关闭主备lvs的防火墙，这种方法貌似不是一种好的解决方式。 1.在防火墙添加VRRP通...
FastDFS蛋疼的集群和负载均衡(十五)之lvs四层+Nginx七层负载均衡
cmazxiaoma的博客
06-20 551
Interesting things lvs+nginx的拓扑图 准备环境，基于上一篇【Diary Report 2018-1-3】关于FastDFS蛋疼的集群和负载均衡(十三)之LVS-DR环境安装继续配置。 vip：192.168.12.100 lvs-director:192.168.12.4 nginx1:192.168.12.2 ng...
FastDFS蛋疼的集群和负载均衡(十一)之清除Nginx文件缓存
weixin_34292287的博客
06-18 280
###Interesting things 我上传一张图片，返回的信息如下: 2 group:group1 path:M00/00/00/wKgMLFpLO-GAR41SAAd8hCbLY3Y765.jpg 我能正确的访问到图片 然而我删除了图片 当我再次访问该图片时，还能成功访问。 我遇到的问题就是这样子的，访问前我已经清除了浏览器的缓存。排除了浏览器缓存的问题，现在我继续排查问...
Lvs+Keepalived+Nginx+FastDFS分布式文件系统高可用集群搭建
Mr.Kong
12-01 488
高可用文件服务器架构设计图 所需服务器配置 192.168.80.128 和 192.168.80.129两台服务器上搭建Nginx+Keepalived 基础软件安装 $ yum install gcc openssl-devel libnl libnl-devel libnfnetlink-devel net-tools vim wget lrzsz lsof -y...
LVS负载均衡群集 --NAT模式实战部署（图文详解）
qq_44363920的博客
06-06 993
如今，在各种互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求也越来越高，单台服务器也将难以无法承担所有的访问需求。当然了，除了使用性价比高的设备和专用负载分流设备外，还有一些其他选择来帮你解决此问题，就是搭建集群服务器通过整合多台普通的服务器设备并以同一个地址对外提供相同的服务，今天就带领大家学习企业中常用的一种群集技术 —— LVS。...............
LVS负载均衡群集之NAT与DR模式
最新发布
MCB134的博客
03-06 1095
LVS：Linux Virtual Server，负载调度器，内核集成，章文嵩（花名正明）, 阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现LVS 官网：http://www.linuxvirtualserver.org/阿里SLB和LVS：整个SLB系统由3部分构成: 四层负载均衡，七层负载均衡 和 控制系统，如下图所示;①四层负载均衡，采用开源软件LVS (linux virtual server) ，并根据云计算需求对其进行了定制化。
LVS负载均衡集群基础概念
十七拾的博客
03-06 1808
本文主要介绍集群的概述、LVS的概述，详细阐释了负载的类型、LVS集群的工作模式、LVS调度算法等，希望对你有帮助！
keepalived+nginx+fastdfs集群安装手册
08-27
通过学习和实践这份手册，读者将能够搭建一个稳定的、高效的FastDFS+nginx+keepalived集群，为业务提供可靠的服务支持。同时，该手册还提供了链接到博客的文章，可能包含更详细的步骤和实践经验，有助于读者深入理解...
高可用之FastDFS集群的安装、配置、使用.docx
11-07
FastDFS是开源的分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。FastDFS 服务端有两个角色：跟踪器（tracker）和存储...
fastdfs+nginx集群搭建的实现
01-09
【FastDFS介绍】 ...总的来说，FastDFS+nginx集群搭建提供了一种高效、可靠的分布式文件存储解决方案，适合处理大规模文件存储需求和高并发访问场景。通过合理的配置和扩展，可以构建出适应业务发展的存储架构。
FastDFS基于 Centos7环境搭建及nginx负载均衡1
08-08
这个过程需要熟悉Linux命令行操作，理解FastDFS的工作原理和配置选项，以及Nginx的反向代理和负载均衡设置。通过这样的部署，可以构建出一个高效、可靠的文件存储系统，满足大量图片存取需求，同时具备负载均衡和...
Java高级架构之FastDFS分布式文件集群详解
08-26
FastDFS分布式文件集群详解 FastDFS是一个开源的轻量级分布式文件系统，使用C实现，支持Linux、BSD等unix-like操作系统。FastDFS主要解决大容量文件存储的问题，并追求高性能和高扩展性。 FastDFS的主要概念包括：...
FastDFS蛋疼的集群和负载均衡(四)之排查访问失败问题
cmazxiaoma的博客
06-18 2330
Interesting things 接着上一篇来讲我是如何排查问题的，初步判断是Nginx的问题，后来发现是mod_fastdfs.conf配置文件的问题。 What did you do today 关闭nginx命令: /usr/local/nginx/sbin/nginx -s stop 进入/usr/local/nginx/conf/nginx.conf。...
【分布式学习】为什么需要高质量API网关接口
cmazxiaoma的博客
11-24 1748
前言 最近在网上看视频，学习分布式相关架构的知识。虽然暂时也用不到，就当储备知识吧。最近的学习打算是：先把理论理清一遍，再开始撸代码。 坑队友接口 没有接口文档。 出入参数风格不统一。 异常提示不友好。 模型结构混乱，接口粗暴升级 稳定性差。 解决之道 首先应该把组员召集起来，宣讲项目对各成员的意义，从心态上重视该项目。 制定接口开放规范，不允许有不清晰的接口结构。 在执行上对接口进行严格审查，
FastDFS蛋疼的集群和负载均衡(二)之tracker和stroage集群配置
cmazxiaoma的博客
06-18 1230
Interesting things 接着上一篇来写。 What did you do today With RHEL 7 / CentOS 7, firewalld was introduced to manage iptables. IMHO, firewalld is more suited for workstations than for server e...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值