62.负载均衡集群介绍 lvs介绍以及调度算法 LVS NAT模式搭建

最新推荐文章于 2024-10-02 10:53:34 发布

weixin_34378969

最新推荐文章于 2024-10-02 10:53:34 发布

阅读量110

点赞数

文章标签：运维开发工具网络

原文链接：https://my.oschina.net/u/3866149/blog/1982827

版权

2019独角兽企业重金招聘Python工程师标准>>>

18.6 负载均衡集群介绍

18.7 LVS介绍

18.8 LVS调度算法（面试会被问到）

18.9/18.10 LVS NAT模式搭建

扩展

lvs 三种模式详解 http://www.it165.net/admin/html/201401/2248.html

lvs几种算法 http://www.aminglinux.com/bbs/thread-7407-1-1.html

关于arp_ignore和 arp_announce http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

18.6 负载均衡集群介绍：

~1.主流开源软件LVS、keepalived、haproxy、nginx等

~2.其中LVS属于4层（网络OSI 7层模型），nginx属于7层，haproxy既可以认为是4层，也可以当做7层使用

所以LVS与nginx之间有本质的区别。haproxy比较特殊

~3.keepalived的负载均衡功能其实就是lvs

lvs是keepalived内置的

~4.lvs这种4层的负载均衡是可以分发除80外的其他端口通信的（tcp），比如MySQL的，而nginx仅仅支持http，https，mail，haproxy也支持MySQL这种

四层和七层有一个本质的区别。比如LVS这种四层可以分发tcp/ip的协议，比如web服务是80端口，他除了分发80端口之外，还可以分发其他的端口。比如做一个mysql的负载均衡，也是可以用LVS实现的。而nginx就不支持，他仅仅支持http，https，mail。而haproxy也是支持mysql负载均衡的

~5.相比较来说，LVS这种4层的更稳定，能承受更多的请求，承载的并发量会很高。而nginx这种7层的更加灵活，能实现更多的个性化需求

七层的话还是有限制的，但是有更高级的功能。比如nginx可以根据目录，一个网站我们可以去访问下面的二级目录或三级目录，可以根据目录的名字，去区分后端的真正的服务器，当然nginx可以做到，LVS做不到。LVS没这么智能，他仅仅是一个四层，四层其实也就是一个tcp/ip数据包的转发。但是对于包里面有什么样的域名，什么样的主机头之类的，他不关心

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

18.7 LVS介绍：

~1.LVS是由国人章文嵩开发

~2.流行度不亚于apache的httpd，基于TCP/IP做的路由和转发，稳定性和效率很高

~3.LVS最新版本基于Linux内核2.6，有好多年不更新了

~4.LVS有三种常见的模式：NAT、DR、IP Tunnel

~5.LVS架构中有一个核心角色叫做分发器（Load balance），它用来分发用户的请求，还有诸多处理用户请求的服务器（Real Server，简称rs）

~~LVS NAT模式（就是iptables转发）：

~1.这种模式借助iptables的nat表来实现

~2.用户的请求到分发器后（load balancer），通过预设的iptables规则，把请求的数据包转发到后端的rs上去

~3.rs需要设定网关为分发器的内网ip

~4.用户请求的数据包和返回给用户的数据包全部经过分发器，所以分发器成为瓶颈

所以使用NAT模式，规模不能太大，一般十几台。

~5.在nat模式中，只需要分发器有公网ip即可，所以比较节省公网ip资源

NAT模式，用户过来，分发器分发出去之后，这些请求还要回来。那也就意味着load balancer与real server他们只需要用内网通信就可以了。那么我们只需要有一个公网IP配置在load balancer上就可以了。这是NAT模式的一个优势

~~LVS IP Tunnel模式（就是把目标IP做了更改：

~1.这种模式，需要有一个公共的IP（VIP)配置在分发器和所有rs上，我们把它叫做vip

~2.客户端请求的目标IP为vip，分发器接收到请求数据包后，会对数据包做一个加工，会把目标IP改为rs的IP，这样数据包就到了rs上

每次把目标IP改为rs的IP都不一样，会传到不同的rs上

~2.rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

再有rs将数据直接返还给用户，所以load balancer不存在瓶颈

~~LVS DR模式：

~1.这种模式，也需要有一个公共的IP配置在分发器和所有rs上，也就是vip

~2.和IP Tunnel不同的是，它会把数据包的MAC地址修改为rs的MAC地址

可理解为，内网在通信是需要MAC地址

~3.rs接收数据包后，会还原原始数据包，这样目标IP为vip，因为所有rs上配置了这个vip，所以它会认为是它自己

因为所有的机器都配备了VIP，rs直接返还给用户。这样load salancer也没有瓶颈

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

18.8 LVS调度算法：

~1.轮询 Round-Robin 简称rr

用户的请求过来，他均衡的把这些请求分发到rs上，没有任何的优劣之分，谁也不允许多分和少分

~2.加权轮询 Weight Round-Robin 简称wrr

比如，其中一个rs想多分点（因为配置高），可以给他设置很高的权重。比如他的是80，其他的60。这样80的机器分配的请求数会多一些

~3.最小连接 Least-Connection 简称lc

比如这个服务器连接数少。那么就会把新的请求分发到这个请求数少的上去。请求数少说明他比较闲、可能他处理速度快

~4.加权最小连接 Weight Least-Connection 简称wlc

同样的，与~3.相比就是加了权重

后面四种用的不多，简单了解：

~5.基于局部性的最小连接 Locality-Based Least Connections lblc

~6.带复制的基于局部性最小连接 Locality-Based Least Connections with Replication lblcr

~7.目标地址散列调度 Destination Hashing dh

~8.源地址散列调度 Source Hashing sh

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

18.9/18.10 LVS NAT模式搭建：

NAT模式搭建 – 准备工作

NAT是通过iptables实现的，那所以这个上面必须要配置iptables规则。在这之前先准备三台机器：

~1.三台机器

~2.分发器，也叫调度器（简写为dir）

三台机器的其中一台作为分发器

内网：208.128，外网：44.0（vmware仅主机模式）

~3.rs1

另外两台作为用户请求的机器

内网：208.130 设置网关为208.128

~4.rs2

内网：208.133 设置网关为208.128

~5.三台机器上都执行执行

systemctl stop firewalld; systemc disable firewalld

systemctl start iptables-services; iptables -F; service iptables save

NAT模式搭建

~1.在dir上安装ipvsadm

分发器上安装ipvsadm，这是实现LVS的重要工具。这个工具很iptables有点像

yum install -y ipvsdam

~2.在dir上编写脚本，vim /usr/local/sbin/lvs_nat.sh//内容如下

#! /bin/bash

# director 服务器上开启路由转发功能

echo 1 > /proc/sys/net/ipv4/ip_forward #意思是把1写入到了内核参数里。就是把内核做了一个调整，实现路由转发。你不开启路由转发，这个数据包没有办法转发到后面的rs上去

# 关闭icmp的重定向

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects #实际上做了一个伪装。要不没办法把数据包转发到rs上去。rs还要把数据转发回来

echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

# 注意区分网卡名字，阿铭的两个网卡分别为ens33和ens37

echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects

# director 设置nat防火墙

iptables -t nat -F #首先清空规则

iptables -t nat -X #链也清空

iptables -t nat -A POSTROUTING -s 192.168.208.0/24 -j MASQUERADE

#做了规则。可以实现将同网段的内网上网。像我们的路由器就是这个功能

# director设置ipvsadm（lvs的规则）

IPVSADM='/usr/sbin/ipvsadm' #设置了变量，下面要引用他

$IPVSADM -C #清空规则

$IPVSADM -A -t 192.168.44.147:80 -s wlc -p 3 #公网ip要注意为比配置的ip 。wlc为算法，可以改成其他的算法。下面实例中我们即改成了rr，因为比较均衡，以便测试

#增加一个规则。是NAt模式还是DR模式或者iptunnel。这里写的是分发器的ip（公网ip）。就是数据包到了公网ip的80端口，然后做一些操作，首先是算法，-p为超时时间（比如3秒之内登录一致分发到一台机器上去）。下面实例中我们删掉了，以便测试

$IPVSADM -a -t 192.168.44.147:80 -r 192.168.208.130:80 -m -w 1

#-r指定rs是谁.-m是NAT的模式。-w权重

$IPVSADM -a -t 192.168.44.147:80 -r 192.168.208.133:80 -m -w 1

NAT模式效果测试：

~1.两台rs上都安装nginx

~2.设置两台rs的主页，做一个区分，也就是说直接curl两台rs的ip时，得到不同的结果

~3.浏览器里访问192.168.44.147，多访问几次看结果差异

1 网络架构搞清楚： dir一个内网，一个外网， rs只有一个内网， rs需要配置网关为dir的内网ip。

2 仔细检查脚本内容，是否和我的一致。注意，并不是连IP都照搬，需要和你的网络匹配。

3 你的windows电脑是否可以ping通这个“外网”地址？

实例：

NAT模式搭建 – 准备工作：

需要克隆一台出来，并修改他的IP。远程连接他

[root@axinlinux-01 ~]# hostnamectl set-hostname axinlinux-03 #因为是克隆的01，要改一下主机名

小插曲：因为克隆的01，那么01机器要先关闭，再vi03，不然重启不了网络服务

[root@axinlinux-01 ~]# bash #进入一个子shell就变了

[root@axinlinux-03 ~]#

在01 上改为仅主机：

然后看一下01 的网段是什么：

[root@axinlinux-01 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens37 #修改ens37的网段为44

[root@axinlinux-01 ~]# ifup ens37 #开启ens 37这个网卡

[root@axinlinux-01 ~]# ifconfig #看一下有没设置成功

ens37: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500

inet 192.168.44.147 netmask 255.255.255.0 broadcast 192.168.44.255

inet6 fe80::20c:29ff:fe87:422e prefixlen 64 scopeid 0x20<link>

ether 00:0c:29:87:42:2e txqueuelen 1000 (Ethernet)

RX packets 51 bytes 6662 (6.5 KiB)

RX errors 0 dropped 0 overruns 0 frame 0

TX packets 77 bytes 10594 (10.3 KiB)

TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

然后在cmd，ping一下是否通信

这样三台机器就都设置好了

然后三台机器都关闭防火墙

[root@axinlinux-02 ~]# systemctl disable firewalld #开机不启动防火墙

Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.

Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

[root@axinlinux-02 ~]# yum install -y iptables-services #让他使用centos6 的iptabls

小知识点：如果yum的时候，epel很慢的时候，/etc/yum.repos.d/epel.repo这个文件先关掉。改个名字就好

[root@axinlinux-02 ~]# systemctl enable iptables #开启启动

Created symlink from /etc/systemd/system/basic.target.wants/iptables.service to /usr/lib/systemd/system/iptables.service.

[root@axinlinux-02 ~]# systemctl start iptables #开启iptables

[root@axinlinux-02 ~]# iptables -F #清空规则

[root@axinlinux-02 ~]# service iptables save #保存这个空规则。是为了让他保存一个空规则。不会让他默认的规则影响到我们的实验

iptables: Saving firewall rules to /etc/sysconfig/iptables:[ 确定 ]

三台机器上都要清空规则和保存空规则

最后三台机器还要关闭selinux

两台rs机器网关设置成208.130

root@axinlinux-03 ~]# systemctl restart network #重启网络服务

[root@axinlinux-03 ~]# route -n #这个命令检查网关

Kernel IP routing table

Destination Gateway Genmask Flags Metric Ref Use Iface

0.0.0.0 192.168.208.130 0.0.0.0 UG 100 0 0 ens33

以上准备工作已全部完成

NAT模式搭建：

[root@axinlinux-01 ~]# yum install -y ipvsadm 分发器上安装ipvsadm

[root@axinlinux-01 ~]# vim /usr/local/sbin/lvs_nat.sh

输入-2.的内容

[root@axinlinux-01 ~]# sh /usr/local/sbin/lvs_nat.sh #执行一下。没有输出就代表没有错误

NAT模式效果测试：

因为已经安装了nginx，就不需要了，开启就可以了。然后来设置两台rs主页

[root@axinlinux-02 ~]# curl localhost #先看一下

[root@axinlinux-02 ~]# vi /usr/share/nginx/html/index.html

#因为之前是yum安装的。所以主页路径在这个下。设置成axinlinux-02

[root@axinlinux-03 ~]# vim /usr/local/nginx/conf/vhost/aaa.com.conf #可以看一下默认主机root路径在哪。

[root@axinlinux-03 ~]# vim /data/wwwroot/default/index.html #因为是编译的，所以在这

#设置成axinlinux-03

接下来可以做测试了。直接在浏览器上，访问公网IP192.168.44.147：

结果是分发到了03上。我们把之前设置的-p 3改为0，以便我们测试

[root@axinlinux-01 ~]# vim /usr/local/sbin/lvs_nat.sh

[root@axinlinux-01 ~]# sh !$ #结果有报错。是因为我们有些操作有重复

sh /usr/local/sbin/lvs_nat.sh

invalid timeout value `0' specified

Memory allocation problem

[root@axinlinux-01 ~]# iptables -t nat -nvL #首先检查一下nat表的规则，是有规则的，没问题

Chain POSTROUTING (policy ACCEPT 0 packets, 0 bytes)

pkts bytes target prot opt in out source destination

2 174 MASQUERADE all -- * * 192.168.208.0/24 0.0.0.0/0

[root@axinlinux-01 ~]# ipvsadm -ln #看一下ipvsadm的规则，结果有问题

IP Virtual Server version 1.2.1 (size=4096) #正常是有数据的，现在看来是没有，是有问题的

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

[root@axinlinux-01 ~]# !sh #再来执行。结果是-p 后面不能跟0。那么直接去掉-p把

sh /usr/local/sbin/lvs_nat.sh

invalid timeout value `0' specified

Memory allocation problem

[root@axinlinux-01 ~]# vim /usr/local/sbin/lvs_nat.sh #删掉-p

[root@axinlinux-01 ~]# !sh #再来执行。可以了

sh /usr/local/sbin/lvs_nat.sh

[root@axinlinux-01 ~]# ipvsadm -ln #我们再来看ipvsadm，一以下是正常的，是有数据的

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 192.168.44.147:80 wlc

-> 192.168.208.130:80 Masq 1 0 0 #这就是具体的规则

-> 192.168.208.133:80 Masq 1 0 0

那么修改好了-p的问题。我们再回到浏览器上，刷新看看

还是一直是03。我们把算法改为rr吧，因为比较均衡，以便测试。

艹，还是03（估计跟浏览器的缓存有关系）。我们回到linux上，用curl测试吧，记住一定要测试外网

[root@axinlinux-01 ~]# curl 192.168.44.147 #结果正常，可看出比较均衡

axinlinux-02