LVS+keepalived(双主模型)

最新推荐文章于 2024-07-05 11:56:57 发布

weixin_33984032

最新推荐文章于 2024-07-05 11:56:57 发布

阅读量88

点赞数

原文链接：http://blog.51cto.com/11293309/1854055

版权

集群类型：

LB:负载均衡

组件：负载均衡器、调试器、分发器

HA:高可用

活动服务器、备用服务器

HP：高性能

DS：分布式

分布式存储、分布式计算

主要写LB类型,lvs集群：

lvs集群类型:

lvs-nat

lvs-dr

lvs-tun

lvs-fullnat

lvs-nat :多目标的DNAT，将请求报文中的目标IP和目标PORT修改为某一RS的IP和PORT实现转发。

特点：

1、请求报文和响应报文都是由Director转发，较高负载下，Director易于成为系统性能瓶颈。

2、lvs主机必须是Linux，RS可以是任意OS

3、RIP和DIP必须在同一IP网络，且应该使用私有地址；RS的网关要指向DIP（保证响应报文必须经由VS）

4、支持端口映射

lvs-dr：通过为请求报文的重新封闭一个MAC首部进行转发，源MAC是DIP所在接口的MAC，目标MAC是挑选出某RS的RIP所在接口的MAC地址；IP首部不会发生变化；之后由RS直接响应客户端，不经由Director，是通过修改RS的内核参数，使每个RS都有Director的地址，但多个RS之间又不会互相冲突。

特点：

1、请求报文必须由Directory调度，但响应报文必须不能经由Director

2、RS可以使用大多的OS

3、RS的RIP可以使用私有地址，也可以使用公网地址；

4、不支持端口映射

lvs-tun：tunnel隧道模型

修改请求报文的源IP和目标IP，将请求报文的原IP和目标IP上再次封装一个Directory自己的原IP和目标IP，基于此种机制进行转发；

特点：

1、RIP，DIP，VIP全得是公网地址；

2、RS网关不能指向也可能指向DIP；

3、请求报文经由Director转发，但响应报文将直接发往CIP；

4、不支持端口映射；

5、RS的OS必须支持隧道功能；

lvs-fullnat：

通过同时修改请求报文的源IP地址（CIP-->DIP）和目标IP地址（VIP-->RIP）进行转发；

（1）VIP是公网地址，RIP和DIP是私网地址，且通常不在同一网络中，但需要经由路由器互通；

（2）RS收到的请求报文源IP为DIP，因此响应报文将直接响应给DIP；

（3）请求和响应报文都经由Director；

（4）支持端口映射；

lvs会话保存方法：

session sticky 地址绑定，原地址哈希（会影响负载均衡效果）

session cluster 会话集群，负载到任何一个节点，会话都存在

session server 找一台服务器专用保持会话

lvs调度方法：

有两种模式：基于是否考虑后端主机的当前负载

静态方法：

rr, wrr, sh, dh （仅根据算法本身进行调度）；

动态方法：

lc, wlc, sed, nq, lblc, lblcr （ 根据算法及各RS当前的负载状态进行调度）

静态方法：

RR：Round Robin：轮询/轮调/轮叫；

WRR：Weighted RR：加权轮询；（根据各个rs的情况，公平分配）

SH：Source Hashing：源地址哈希；（将来自同一IP地址的请求始终发往同一rs），很粗糙，削弱了负载均衡

DH：Destination Hashing：目标地址哈希；（客户端上次所请求的地址是由哪台服务器所代理，服务器会有缓存，下次来直接就分配给上一次代理的服务器）

动态方法：

负载值Overhead=

LC: least connections，最少连接；

Overhead=Active*256+Inactive活动链接数x256+非活动连接数

WLC: Weighted LC, 加权最少连接；

Overhead=(Active*256+Inactive)/weight活动链接数x256+非活动连接数÷权重

SED：Shortest Expections Delay最短期望延迟

Overhead=(Active+1)*256/weight活动链接数+1x256÷权重

NQ：Never Queue永不排队，先按权重大小，之后再用sed算法

LBLC：Locality-Based LC

动态的DH算法；

LBLCR：LBLC with Replication

带复制功能的LBLC；

ipvsadm：用户空间的集群服务管理工具；

# ipvsadm -Ln 查看规则

Prot:哪个协议

LocalAddress:Port ： vip的地址

Scheduler ：调度方法

Flags ：标志位

RemoteAddress:Port ：rs的地址

Forward: 转发方法

weight:权重

ActiveConn：活动联连接数

InActConn：非活动连接数

#ipvsadm -Ln --rate 查看速率

CPS ：每秒钟的连接数

InPPS ：每秒的入站报文数

OutPPS：每秒的出站报文数

InBPS：每秒的入站字节数

OutBPS：每秒的出站字节数

# ipvsadm -Ln --stats 统计数据

Conns ：总的连接数

InPkts：入站报文书数

OutPkts ：出站的报文数

InBytes：入站的字节数

OutBytes：出站的字节数

管理集群服务：增、改，删，查

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

-A：增

-E：修改

-t：tcp

-u：udp

-f：firewall mark防火墙标标记

service-address：

-t, tcp, vip:port

-u, udp, vip:port

-f, fwm, mark标记

-s scheduler：调度方法，默认为wlc；

e.g. 添加一个集群

# ipvsadm -A -t 192.168.19.129:80 -s rr

# ipvsadm -Ln

e.g. 将算法改为wrr

# ipvsadm -E -t 192.168.19.129:80 -s wrr

ipvsadm -D -t|u|f service-address（指明哪个协议哪个地址）

-D：删除

管理集群上的RS：

ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]

-a：增

-e：改

-r server-address

RS的地址；

rip[:port]（有些类型不支持端口映射，此处端口可以省略）

集群类型：

-g, gateway, dr类型，默认

-i, ipip, tun类型

-m, masquerade, nat类型

-w weight---权重（有的算法不支持权重）

e.g.添加一个RS

# ipvsadm -a -t 192.168.19.129:80 -r 192.168.19.128 -m -w 1

e.g.将 w改为3（注意地址不能改，只能删）

# ipvsadm -e -t 192.168.19.129:80 -r 192.168.19.128 -m -w 3

e.g. 以上两步骤图示：

查看：

ipvsadm -L|l [options]

-n, --numeric：数字格式显示IP和PORT；

--exact：精确值；不做单位换算

-c, --connection：显示IPVS连接；

--stats：统计数据；

--rate：速率；

清空规则：

-C：

保存和重载：

ipvsadm -S > /PATH/TO/SOME_RULE_FILE

重载：

ipvsadm -R < /PATH/TO/SOME_RULE_FILE

清空计数器：

ipvsadm -Z [-t|u|f service-address]

e.g. 保存刚才的规则

# ipvsadm -S > /tmp/ipvsadm-config.v1

需要用时只需重载即可

# ipvsadm -R < /tmp/ipvsadm-config.v1

要想开机自启：(CentOS 7)

# ipvsadm -S > /etc/sysconfig/ipvsadm

lvs-nat：

设计要点：

(1) DIP与RIP要在同一IP网络，RIP的网关要指向DIP；

(2) 支持端口映射；

(3) 是否用到共享存储取决业务需求；

Lvs（DR）+keepalived（双主）:

版本：

keeplived :1.2.21

ipvsadm :1.26

准备4台服务器：

Directo 1:

DIP 192.168.1.55

主VIP 192.168.1.15

备VIP 192.168.1.16

Directo 2:

DIP 192.168.1.56

主VIP 192.168.1.16

备VIP 192.168.1.15

RS1

eth0 192.168.1.57

VIP 192.168.1.15

VIP 192.168.1.16

RS2

eth0 192.168.1.58

VIP 192.168.1.15

VIP 192.168.1.16

1、确保 iptables selinux 不会成为阻碍

2、确保两台lvs同步时间

3、在Directo 1、Directo 2，都按装上ipvsadm、keepalived。

4、在RS1、RS2，都安装上http服务。

安装keepalived:

# cd /app/soft

# su - CACC

$ mkdir /app/keepalived

$ wget http://www.keepalived.org/software/keepalived-1.2.21.tar.gz

$ tar -xf keepalived-1.2.21.tar.gz

$ cd keepalived-1.2.21

$ ./configure --prefix=/app/keepalived

$ make && make install

$ vim /app/keepalived/etc/keepalived/keepalived.conf

vrrp_instance VI_1 {

state MASTER

interface eth0

virtual_router_id 51

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass HNx6k728

}

virtual_ipaddress {

192.168.1.15

}

vrrp_instance VI_2 {

state BACKUP

interface eth0

virtual_router_id 511

priority 98

advert_int 1

authentication {

auth_type PASS

auth_pass HNx6k728

}

virtual_ipaddress {

192.168.1.16

}

virtual_server 192.168.1.15 80 {

delay_loop 6

lb_algo rr

lb_kind DR

protocol TCP

real_server 192.168.1.57 80{

weight 1

HTTP_GET {

}

url {

path /

}

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

}

real_server 192.168.1.58 80 {

weight 1

HTTP_GET {

}

url {

path /

}

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

}

virtual_server 192.168.1.16 80 {

delay_loop 6

lb_algo rr

lb_kind DR

protocol TCP

real_server 192.168.1.57 80 {

weight 1

HTTP_GET {

url {

path /

}

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

}

real_server 192.168.1.58 80 {

weight 1

HTTP_GET {

url {

path /

}

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

}

# scp /etc/keeplived/keepalived.conf root@192.168.1.56:/etc/keepalived/keepalived.conf

另一个lvs:

keepalived.conf只需修改以下即可

vrrp_instance VI_1 {

state BACKUP

interface eth0

virtual_router_id 51

priority 98

vrrp_instance VI_2 {

state MASTER

interface eth0

virtual_router_id 511

priority 100

ipvsadm 安装：

检查是否安装依赖包：

rpm -ql Kernel-devel

rpm -ql gcc

rpm -ql openssl

rpm -ql openssl-devel

rpm -ql popt

rpm -ql popt-deve

rpm -ql libnl

rpm -ql libnl-devel

rpm -ql popt-static

# cd /app/soft

# wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz

建立编译安装需要的软连接：

# ln -s /usr/src/kernels/2.6.32-642.4.2.el6.x86_64/ /usr/src/linux

# make && make install

验证：

# ipvsadm

另一台ipvsadm同样操作；

关闭RS1、RS2 arp响应：

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

配置RS1与RS2的VIP(分别在RS1、RS2执行)

ifconfig lo:0 192.168.1.15 netmask 255.255.255.255 broadcast 192.168.1.15

ifconfig lo:00 192.168.1.16 netmask 255.255.255.255 broadcast 192.168.1.16

为RS1、RS2添加路由(分别在RS1、RS2执行)

route add -host 192.168.1.15 dev lo:0

route add -host 192.168.1.16 dev lo:00

Directo 1:

$ /app/keepalived/sbin/keepalived

# service network restart

查看规则：

# ipvsadm

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.1.15:80 rr

-> 192.168.1.57:80 Route 1 0 0

-> 192.168.1.58:80 Route 1 0 0

TCP 192.168.1.16:80 rr

-> 192.168.1.57:80 Route 1 0 0

-> 192.168.1.58:80 Route 1 0 0

Directo 2:

$ /app/keepalived/sbin/keepalived

# service network restart

查看规则：

# ipvsadm

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.1.15:80 rr

-> 192.168.1.57:80 Route 1 0 0

-> 192.168.1.58:80 Route 1 0 0

TCP 192.168.1.16:80 rr

-> 192.168.1.57:80 Route 1 0 0

-> 192.168.1.58:80 Route 1 0 0

在RS1与RS2上安装http服务并启动。

测试：

curl 192.168.1.15

curl 192.168.1.16

停掉LVS2的keepalived服务，查看LVS1的ip及测试是否正常

ip addr show eth0

转载于:https://blog.51cto.com/11293309/1854055

weixin_33984032

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫