centos 部署LVS的DR模式+keepalived

最新推荐文章于 2024-08-08 19:39:24 发布
最新推荐文章于 2024-08-08 19:39:24 发布
阅读量479 收藏 1
点赞数
分类专栏： linux 文章标签： linux lvs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kobe_lai/article/details/103054554
版权

DR模式（直接路由模式:Virtual Server via Direct Routing）

DR模式是通过改写请求报文的目标MAC地址，将请求发给真实服务器的，而真实服务器响应后的处理结果直接返回客户端的用户。要求调度器LB与真实服务器RS都有一块网卡连接到统一物理网段上，必须在同一局域网环境。

在这里插入图片描述

DR模式原理图：
在这里插入图片描述
在这里插入图片描述

Linux内核参数之arp_ignore和arp_announce

arp_ignore参数的作用是控制系统在收到外部的arp请求时，是否要返回arp响应。
arp_ignore参数常用的取值主要有0，1，2，3~8较少用到：
0：响应任意网卡上接收到的对本机IP地址的arp请求（包括环回网卡上的地址），而不管该目的IP是否在接收网卡上。
1：只响应目的IP地址为接收网卡上的本地地址的arp请求。
2：只响应目的IP地址为接收网卡上的本地地址的arp请求，并且arp请求的源IP必须和接收网卡同网段。
3：如果ARP请求数据包所请求的IP地址对应的本地地址其作用域（scope）为主机（host），则不回应ARP响应数据包，如果作用域为全局（global）或链路（link），则回应ARP响应数据包。
4~7：保留未使用
8：不回应所有的arp请求
　　sysctl.conf中包含all和eth/lo（具体网卡）的arp_ignore参数，取其中较大的值生效。

arp_announce的作用是控制系统在对外发送arp请求时，如何选择arp请求数据包的源IP地址。（比如系统准备通过网卡发送一个数据包a，这时数据包a的源IP和目的IP一般都是知道的，而根据目的IP查询路由表，发送网卡也是确定的，故源MAC地址也是知道的，这时就差确定目的MAC地址了。而想要获取目的IP对应的目的MAC地址，就需要发送arp请求。arp请求的目的IP自然就是想要获取其MAC地址的IP，而arp请求的源IP是什么呢？ 可能第一反应会以为肯定是数据包a的源IP地址，但是这个也不是一定的，arp请求的源IP是可以选择的，控制这个地址如何选择就是arp_announce的作用）
　　arp_announce参数常用的取值有0，1，2。
0：允许使用任意网卡上的IP地址作为arp请求的源IP，通常就是使用数据包a的源IP。
1：尽量避免使用不属于该发送网卡子网的本地地址作为发送arp请求的源IP地址。
2：忽略IP数据包的源IP地址，选择该发送网卡上最合适的本地地址作为arp请求的源IP地址。
　　sysctl.conf中包含all和eth/lo（具体网卡）的arp_ignore参数，取其中较大的值生效。

arp_ignore和arp_announce参数在DR模式下的作用

1. arp_ignore

因为DR模式下，每个真实服务器节点都要在环回网卡上绑定虚拟服务IP。这时候，如果客户端对于虚拟服务IP的arp请求广播到了各个真实服务器节点，如果arp_ignore参数配置为0，则各个真实服务器节点都会响应该arp请求，此时客户端就无法正确获取LVS节点上正确的虚拟服务IP所在网卡的MAC地址。假如某个真实服务器节点A的网卡eth1响应了该arp请求，客户端把A节点的eth1网卡的MAC地址误认为是LVS节点的虚拟服务IP所在网卡的MAC，从而将业务请求消息直接发到了A节点的eth1网卡。这时候虽然因为A节点在环回网卡上也绑定了虚拟服务IP，所以A节点也能正常处理请求，业务暂时不会受到影响。但时此时由于客户端请求没有发到LVS的虚拟服务IP上，所以LVS的负载均衡能力没有生效。造成的后果就是，A节点一直在单节点运行，业务量过大时可能会出现性能瓶颈。

所以DR模式下要求arp_ignore参数要求配置为1。

2. arp_announce

每个机器或者交换机中都有一张arp表，该表用于存储对端通信节点IP地址和MAC地址的对应关系。当收到一个未知IP地址的arp请求，就会再本机的arp表中新增对端的IP和MAC记录；当收到一个已知IP地址（arp表中已有记录的地址）的arp请求，则会根据arp请求中的源MAC刷新自己的arp表。
　　如果arp_announce参数配置为0，则网卡在发送arp请求时，可能选择的源IP地址并不是该网卡自身的IP地址，这时候收到该arp请求的其他节点或者交换机上的arp表中记录的该网卡IP和MAC的对应关系就不正确，可能会引发一些未知的网络问题，存在安全隐患。
　　所以DR模式下要求arp_announce参数要求配置为2。
四、arp_ignore和arp_announce参数的配置方法
arp_ignore和arp_announce参数分别有all,default,lo,eth1,eth2…等对应不同网卡的具体参数。当all和具体网卡的参数值不一致时，取较大值生效。

一般只需修改all和某个具体网卡的参数即可（取决于你需要修改哪个网卡）。下面以修改lo网卡为例：

  1. 修改/etc/sysctl.conf文件，然后sysctl -p刷新到内存。

net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_announce=2
2. 使用sysctl -w直接写入内存：

sysctl -w net.ipv4.conf.all.arp_ignore=1
sysctl -w net.ipv4.conf.lo.arp_ignore=1
sysctl -w net.ipv4.conf.all.arp_announce=2
sysctl -w net.ipv4.conf.lo.arp_announce=2
3. 修改/proc文件系统：

echo “1”>/proc/sys/net/ipv4/conf/all/arp_ignore
echo “1”>/proc/sys/net/ipv4/conf/lo/arp_ignore
echo “2”>/proc/sys/net/ipv4/conf/all/arp_announce
echo “2”>/proc/sys/net/ipv4/conf/lo/arp_announce

配置测试

LVS调度器：DIP:192.168.72.130
		  VIP：192.168.72.131
RS1     RIP:192.168.72.128
	    VIP：192.168.72.131
RS2      RIP:192.168.72.129
		 VIP：192.168.72.131
  1. 在2台RS机器配置：RIP配置在接口上，VIP要配置在lo的别名上，定义内核参数，禁止响应对VIP的ARP广播请求.

修改报文源IP设置，设置内核参数

echo 1 > /proc/sys/net/ipv4/conf/ens32/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 1 >  /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/ens32/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

在两台机器（RS）上，设置网卡的别名192.168.72.131，此时绑定的网络接口不进行对外通信，所以VIP绑定在lo的别名上

 ifconfig lo:0 192.168.72.131 netmask 255.255.255.255 broadcast 192.168.72.131 up

查看VIP

[root@bogon ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 192.168.72.131/32 brd 192.168.72.131 scope global lo:0
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:18:94:22 brd ff:ff:ff:ff:ff:ff
    inet 192.168.72.128/24 brd 192.168.72.255 scope global noprefixroute dynamic ens32
       valid_lft 1711sec preferred_lft 1711sec
    inet6 fe80::5f96:530b:d47c:1858/64 scope link noprefixroute
       valid_lft forever preferred_lft forever

RServer增加路由

route add -host 192.168.72.131 dev lo:0

2、调度器配置
在原来的网卡上增加网卡别名，增加VIP

ifconfig ens34:0 192.168.72.131 netmask 255.255.255.255   broadcast 192.168.72.131  up

查看VIP

[root@localhost lvs]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: ens34: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:bf:1f:56 brd ff:ff:ff:ff:ff:ff
    inet 192.168.72.132/24 brd 192.168.72.255 scope global noprefixroute dynamic ens34
       valid_lft 1489sec preferred_lft 1489sec
    inet 192.168.72.131/32 brd 192.168.72.131 scope global ens34:0
       valid_lft forever preferred_lft forever
    inet6 fe80::2b29:2b3e:4773:7c28/64 scope link noprefixroute
       valid_lft forever preferred_lft forever

设置DR调度模式

[root@localhost lvs]# ipvsadm -A -t 192.168.72.131:80 -s rr
[root@localhost lvs]# ipvsadm -a -t 172.18.8.6:80 -r 192.168.72.128 -g
[root@localhost lvs]# ipvsadm -a -t 192.168.72.131:80 -r 192.168.72.128 -g
[root@localhost lvs]# ipvsadm -a -t 192.168.72.131:80 -r 192.168.72.129 -g

查看LVS_dr配置

[root@localhost lvs]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.72.131:80 rr
  -> 192.168.72.128:80            Route   1      0          0
  -> 192.168.72.129:80            Route   1      0          0

验证在这里插入图片描述

在这里插入图片描述

keepalived部署和验证

  • 在LVS架构中，当后端的RS宕机后，调度器仍然会把请求转发给当掉的rs上，而使用的keepalived就可以解决该问题。
  • keepalived+lvs需要两台调度器实现高可用，提供调度服务的只需要一台，另外一台作为备用。
  • 架构：
    主keepalived（调度器）：192.168.72.132
    备keepalived（调度器）：192.168.72.133
    VIP：192.168.72.131
    LVS为DR模式
    RS主机运行提供者httpd:80服务
  • 安装
yum install -y keepalived

主keepalived（调度器）：192.168.72.132 配置文件

vrrp_instance VI_1 {
    state MASTER
    interface ens34
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.72.131
    }
}

virtual_server 192.168.72.131 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
#    persistence_timeout 50
    protocol TCP

    real_server 192.168.72.128 80 {
            weight 100
            TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            }
    }

    real_server 192.168.72.129 80 {
            weight 100

备keepalived（调度器）：192.168.72.133

vrrp_instance VI_1 {
    state BACKUP
    interface ens32
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.72.131
    }
}

virtual_server 192.168.72.131 80 {
    delay_loop 10
    lb_algo rr
    lb_kind DR
    protocol TCP

    real_server 192.168.72.128 80 {
            weight 100
            TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            }
    }

    real_server 192.168.72.129 80 {
            weight 100
            TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            }

    }
  • 测试

先在kp配置文件中注释掉persistence_timeout 60这一行

关闭一个httpd/nginx服务，在调度器上执行ipvsadm -ln查看连接数。
开启刚才关闭httpd/nginx服务，在调度器上执行ipvsadm -ln查看连接数。
会发现rs会被自动删除 / 添加。

关闭主调度器，在备调度器上ip addr查看vip是否飘过来了。
再次开启主调度器，查看vip是否飘回了主调度器上。

kobe_lai
关注
专栏目录
linux配置ARP内核参数,Linux 内核参数 arp_ignore & arp_announce 详解
weixin_42412396的博客
05-01 1852
arp_ignore定义了对目标地址为本机IP的ARP询问的不同应答模式。arp_announce对网络接口(网卡)上发出的ARP请求包中的源IP地址作出相应的限制；主机会根据这个参数值的不同选择使用IP数据包的源IP或当前网络接口卡的IP地址作为ARP请求包的源IP地址。arp_ignore在内核参数中除了每个网卡都有自己的arp_ignore配置外，还有两个(一个是默认default，一个是全...
LVS-DR模式+Keepalived
yinhangtian的博客
12-23 517
配置信息 LVS-DR-MASTER 192.168.88.161 CentOS6.5_x64 LVS-DR-BACKUP 192.168.88.162 CentOS6.5_x64 LVS-DR-VIP 192.168.88.160 WEB1 192.168.88.163 CentOS6.5_x64 WEB2 192.168.88.164 CentOS6.5_x64 ...
Linux内核参数之arp_ignore和arp_announce
weixin_30566111的博客
08-30 358
一、arp_ignore和arp_announce介绍 　　arp_ignore和arp_announce参数都和ARP协议相关，主要用于控制系统返回arp响应和发送arp请求时的动作。这两个参数很重要，特别是在LVS的DR场景下，它们的配置直接影响到DR转发是否正常。 首先看一下Linux内核文档中对于它们的描述： arp_ignore - INTEGER Define different...
CentOS7.6 服务器负载均衡——LVS-DR实战案例
最新发布
l_789rty的博客
08-08 453
设置虚拟服务器，地址是192.168.145.123:80，规则轮寻。192.138.145.23 web1 服务器1 2G。192.168.145.34 web1 服务器2 2G。1.在浏览器上搜索：192.168.145.123。1.两个web服务器上部署web服务。IP地址 主机名 角色 内存大小。设置ipvsadm服务自动启动。2. ipvsadm状态测试。二、配置LVS服务器。
Linux 内核参数 arp_ignore & arp_announce 详解
weixin_34289744的博客
05-17 914
arp_ignore定义了对目标地址为本机IP的ARP询问的不同应答模式。 arp_announce对网络接口（网卡）上发出的ARP请求包中的源IP地址作出相应的限制；主机会根据这个参数值的不同选择使用IP数据包的源IP或当前网络接口卡的IP地址作为ARP请求包的源IP地址。 arp_ignore 在内核参数中除了每个网卡都有自己的arp_ignore配置外，还有两个（一个是默认default...
arp_announce和arp_ignore 明白解说
weixin_34399060的博客
08-12 251
LVS realserver lo端口配置中涉及到调整两个网络参数 arp_announce=2 和 arp_ignore=1,忽略官方文档复杂晦涩的表述，其实我们可以这样理解: arp_ignore=2 表示对于网络上发来的arp广播包，realserver的lo端口将会丢弃，因为如果做出应答，根据arp协议，相当于通告网络上其它主机VIP对应的Mac地...
LVS-DR模式+Keepalived高可用架构→实现双机热备
m0_50019871的博客
11-14 392
LVS-DR模式+Keepalived架构的介绍架构的流程图LVS的介绍LVS的工作模式LVS调度算法Keepalived介绍Keepalived脑裂Keepalived vip漂移原理与VRRP协议架构的实际操作安装KeepalivedLVS部署web端浏览器测试： 架构的介绍 Keepalived的设计目标是构建高可用的LVS负载均衡群集，可以调用ipvsadm工具来创建虚拟服务器、管理服务器池，而不仅仅是双机热备。优点：keepalived对lvs负载调度器实现热备切换，提高可用性，对服务器池中的节
【lvs】两台主机同时部署LVS（DR）+keepalived+RealServer
H2K1R～ACE
08-31 1202
【lvs】两台主机同时部署LVS（DR）+keepalived+RealServer
LVS + Keepalived + Nginx安装及配置
javalingyu的博客
05-31 1276
LVS + Keepalived + Nginx安装及配置 1、概述 上篇文章《架构设计：负载均衡层设计方案（6）——Nginx + Keepalived构建高可用的负载层》我们讲解了Nginx的故障切换，并且承诺各位读者会尽快讲解 LVS + Keepalived + Nginx的安装和配置。在中间由于工作的原因，我又插写了三篇关于zookeeper的原理使用的文章。今天这边文章我们回归主题，为各位读者讲解 LVS + Keepalived + Nginx的安装及配置。 2、安装计划和准备工作 下
CentOS 6.5 LVS+KeepAlived(DR模式)搭建高可用负载均衡集群
那又怎样？的博客
10-31 1280
转载来自：http://blog.csdn.net/tengyuantuohai/article/details/19639671 为了实现服务的高可用和可扩展，在网上找了几天的资料，现在终于配置完毕，现将心得公布处理，希望对和我一样刚入门的菜鸟能有一些帮助。 一、理论知识（原理） 我们不仅要知其然，而且要知其所以然，所以先给大家准备一些理论知识课，这样对以后的应用将
Centos6 Lvs+Keepalived Dr模式 配置搭建
leonpengweicn的专栏
05-05 3207
http://blog.lunhui.ren/archives/395 centos6.8 我有三台服务器ip分别是172.16.3.241,172.16.3.242,172.16.3.243 1个虚拟ip：172.16.3.240 目的，当我访问172.16.3.240 lvs会根据规则路由到241-243   3台不同的机器 m
CentOS 7 部署LVS集群（DR模式、NAT模式，LVS+keepalived）
weixin_33737134的博客
03-21 224
1.简介1.1LVS linux虚拟服务器，是一个虚拟的服务器集群系统，可以在Unix和linux平台下实现负载均衡集群的功能。1.2LVS与nginx的对比 1）工作在网络模型的7层，可以针对http应用做一些分流的策略，nginx单凭这点可利用的场合远多于LVS。 2）最新版的nginx也支持4层TCP负载，这曾是LVS的优势。 3）nginx对网络稳定性的依赖小...
【linux】修改arp_ignore、arp_announce、arp_filter、accept_local |内核调优
bandaoyu的note
09-02 8987
对网络接口上本地IP地址发出的ARP报文作出相应级别的限制。0：本机所有IP地址都向任何一个接口通告ARP报文。1：尽量仅向该网卡回应与该网段匹配的ARP报文。2：只向该网卡回应与该网段匹配的ARP报文。
LVS负载均衡群集——DR模式
weixin_45305723的博客
05-22 839
调度服务器 关闭防火墙与selinux，下载ipvsadm [root@localhost ~]# systemctl stop firewalld.service [root@localhost ~]# setenforce 0 [root@localhost ~]# yum install ipvsadm -y 配置虚拟IP地址 [root@localhost network-scripts]# ls ifcfg-ens33 ifdown-ippp ifdown-sit .
Kubernetes（K8S）内核优化常用参数详解
小云的博客
02-10 4286
net.ipv4.tcp_keepalive_time=600 net.ipv4.tcp_keepalive_intvl=30 net.ipv4.tcp_keepalive_probes=...
centos 7 搭建 keepalived + lvs/DR 集群
qq_38743726的博客
08-07 752
参考链接（若读一下文章感到不适，移步） LVS负责多台WEB端的负载均衡（LB）；Keepalived负责LVS的高可用（HA）使用Keepalived为LVS调度器提供高可用功能，防止调度器单点故障，为用户提供Web服务： LVS1调度器真实IP地址为192.168.37.52（MASTER） LVS2调度器真实IP地址为192.168.37.53（BACKUP） 服务器VIP地址设...
CentOS 6.0搭建LVS+KeepAlived+nginx高可用集群指南
本文档详细介绍了如何在CentOS 6.0系统上配置负载均衡解决方案，结合LVS (Linux Virtual Server) 的分布式路由(DR)模式，以及使用KeepAlived实现高可用性和nginx作为web服务器。以下是关键知识点的详细解读： 1. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值