配置keepalived+lvs+nginx架构，lvs为nat模式

已于 2022-10-30 12:50:41 修改
阅读量1.1k 收藏 2
点赞数
分类专栏： nginx 文章标签： nginx lvs 架构
于 2022-10-30 11:45:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44659804/article/details/127553725
版权

服务结构介绍

---
主机名ip地址安装服务（角色）
client192.168.1.10客户端
lvs-0001网卡eth1网卡eth1---->192.168.1.30keepalived/lvs/ipvsadm
lvs-0001网卡eth0网卡eth0---->192.168.0.30keepalived/lvs/ipvsadm
lvs-0002网卡eth1网卡eth1---->192.168.1.31keepalived/lvs/ipvsadm
lvs-0002网卡eth0网卡eth0---->192.168.0.31keepalived/lvs/ipvsadm
web1192.168.0.20nginx
web2192.168.0.21nginx
vip
eth1
nat把客户端ip转为服务器的eth0
nat把后端服务器ip转为服务器的eth1
eth0
client
keepalived
lvs双网卡
与客户端交互
与后端服务器交互
nginx 
NAT 通过转换源ip地址和目的ip地址 
NAT模式 lvs需要双网卡 既能对外与客户端连接 也能对内与服务器连接
Clinet 访问过程 
	客户端访问lvs的vip，访问请求的源ip地址为客户端ip 目的地ip地址为lvs vip
	lvs收到请求后，转换ip。把请求的源ip地址改为lvs 与服务器通信的ip，目的地ip改为服务器ip 把请求转给服务器
	服务器收到请求后，返回结果给lvs。此时返回结果的 源ip为服务器ip，目的地ip为lvs 与服务器通信的ip
	lvs收到返回结果后，再次转换ip。把返回结果的源ip改为lvs vip，把返回结果的目的地ip改为客户端ip，把返回结果转给客户端

LVS介绍

  • LVS的工作模式：

    • NAT：网络地址转换
    • DR：路由模式(直连路由)
    • TUN：隧道模式

  • 术语：

    • 调度器：LVS服务器
    • 真实服务器Real Server：提供服务的服务器
    • VIP：虚拟地址，提供给用户访问的地址
    • DIP：指定地址，LVS服务器上与真实服务器通信的地址
    • RIP：真实地址，真实服务器的地址

  • 常见的调度算法，共10个，常用的有4个：

    • 轮询rr：Real Server轮流提供服务

    • 加权轮询wrr：根据服务器性能设置权重，权重大的得到的请求更多

    • 最少连接lc：根据Real Server的连接数分配请求

    • 加权最少连接wlc：类似于wrr，根据权重分配请求

配置架构

安装nginx，配置网站服务

配置web1

安装nginx
[root@web1 ~]# yum -y install gcc make
[root@web1 ~]# yum -y install pcre-devel
[root@web1 ~]# yum -y install  openssl openssl-devel
[root@web1 ~]# tar xf nginx-1.17.6.tar.gz
[root@web1 ~]# cd nginx-1.17.6
[root@web1 nginx-1.17.6]# ./configure --with-http_ssl_module
[root@web1 nginx-1.17.6]# make && make install
[root@web1 nginx-1.17.6]# ls /usr/local/nginx/
conf  html  logs  sbin

[root@web1 nginx-1.17.6]# cd /usr/local/nginx/
#nginx默认的配置，打开解析php文件，实现动静分离，注意此处修改为include        fastcgi.conf;
[root@web1 nginx]# vim  conf/nginx.conf
 65         location ~ \.php$ {
 66             root           html;
 67             fastcgi_pass   127.0.0.1:9000;
 68             fastcgi_index  index.php;
 69         #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
 70             include        fastcgi.conf;
 71         }
配置网站
#准备静态页面
[root@web1 nginx]# vim html/index.html
<html>
  <marquee  behavior="alternate">
      <font size="12px" color=#00ff00>Hello World web1~~~~</font>
  </marquee>
</html>

#准备动态页面
[root@web1 nginx]# vim html/test.php
<pre>
<?PHP
//phpinfo();
//$arr = array("id" => random_int(0000,9999));
foreach (array("REMOTE_ADDR", "REQUEST_METHOD", "HTTP_USER_AGENT", "REQUEST_URI") as $i) {
  $arr[$i] = $_SERVER[$i];
}
if($_SERVER['REQUEST_METHOD']=="POST"){
  $arr += $_POST;
}else{
  $arr += $_GET;
}
print_R($arr);
print_R("php_host: \t".gethostname()."\n");
$n = 0;
$start = 1;
$end = isset($_GET["id"])? $_GET["id"] : 10000 ;
for($num = $start; $num <= $end; $num++) {
    if ( $num == 1 ) continue;
    for ($i = 2; $i <= sqrt($num); $i++) {
        if ($num % $i == 0) continue 2;
    }
    $n++;
}
print_R($n."\n");
?>
安装php
yum -y install php
yum -y install php-fpm
启动服务
[root@web1 nginx]# systemctl enable php-fpm --now
[root@web1 nginx]# sbin/nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@web1 nginx]# sbin/nginx
[root@web1 nginx]# ss -utnlp | grep 80
tcp    LISTEN     0      511       *:80                    *:*                   users:(("nginx",pid=16056,fd=6),("nginx",pid=16055,fd=6))
[root@web1 nginx]# ss -utnlp | grep 9000
tcp    LISTEN     0      128    127.0.0.1:9000                  *:*                   users:(("php-fpm",pid=16052,fd=0),("php-fpm",pid=16051,fd=0),("php-fpm",pid=16050,fd=0),("php-fpm",pid=16049,fd=0),("php-fpm",pid=16048,fd=0),("php-fpm",pid=16047,fd=6))

#关闭nginx服务
[root@web1 ~]# /usr/local/nginx/sbin/nginx -s sotp
配置nginx开机自启
把nginx加入系统服务，使用systemctl控制(笔者采用此种方法)
#编写Unit文件，使systemctl命令控制nginx

[root@web1 ~]# vim /usr/lib/systemd/system/nginx.service
[Unit]
Description=The Nginx HTTP Server
After=network.target remote-fs.target nss-lookup.target

[Service]
#nginx是多进程类型程序，要设置为forking
Type=forking
#当执行了systemctl start nginx之后执行的命令
ExecStart=/usr/local/nginx/sbin/nginx
#当执行了systemctl reload nginx之后执行的命令
ExecReload=/usr/local/nginx/sbin/nginx -s reload
#当执行了systemctl stop nginx之后执行的命令，这里是用kill命令发送退出信号给nginx的进程号，相当于停止nginx服务，-s QUIT是发送退出信号，$MAINPID是变量，里面存了nginx的进程号
ExecStop=/bin/kill -s QUIT ${MAINPID}

[Install]
#支持开机自启
WantedBy=multi-user.target

#激活刚才的test.service文件，但有时可能不好使，可以重启系统然后重启服务之后可以用systemctl等命令控制nginx
[root@web1 ~]# systemctl daemon-reload
#启动服务并设置开机自启
[root@web1 ~]# systemctl enable nginx --now
Created symlink from /etc/systemd/system/multi-user.target.wants/nginx.service to /usr/lib/systemd/system/nginx.service.
[root@web1 ~]# ss -utnlp | grep nginx
tcp    LISTEN     0      511       *:80                    *:*                   users:(("nginx",pid=1748,fd=6),("nginx",pid=1747,fd=6))
把nginx启动命令写入开机启动脚本
echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local
本机访问查看

在这里插入图片描述


[root@web1 nginx]# curl localhost
<html>
  <marquee  behavior="alternate">
      <font size="12px" color=#00ff00>Hello World web1~~~</font>
  </marquee>
</html>

[root@web1 nginx]# curl localhost/test.php
<pre>
Array
(
    [REMOTE_ADDR] => 127.0.0.1
    [REQUEST_METHOD] => GET
    [HTTP_USER_AGENT] => curl/7.29.0
    [REQUEST_URI] => /test.php
)
php_host:       web1
1229

配置web2

安装nginx同web1
[root@web2 ~]# yum -y install gcc make
[root@web2 ~]# yum -y install pcre-devel
[root@web2 ~]# yum -y install  openssl openssl-devel
[root@web2 ~]# tar xf nginx-1.17.6.tar.gz
[root@web2 ~]# cd nginx-1.17.6/
[root@web2 nginx-1.17.6]# ./configure --with-http_ssl_module
[root@web2 nginx-1.17.6]# make && make install
[root@web2 nginx-1.17.6]# cd /usr/local/nginx/
[root@web2 nginx]# vim conf/nginx.conf
 65         location ~ \.php$ {
 66             root           html;
 67             fastcgi_pass   127.0.0.1:9000;
 68             fastcgi_index  index.php;
 69         #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
 70             include        fastcgi.conf;
 71         }
配置网站
[root@web2 nginx]# vim html/index.html
<html>
  <marquee  behavior="alternate">
      <font size="12px" color=#00ff00>Hello World web2~~~~</font>
  </marquee>
</html>

#准备动态页面
[root@web2 nginx]# vim html/test.php
<pre>
<?PHP
//phpinfo();
//$arr = array("id" => random_int(0000,9999));
foreach (array("REMOTE_ADDR", "REQUEST_METHOD", "HTTP_USER_AGENT", "REQUEST_URI") as $i) {
  $arr[$i] = $_SERVER[$i];
}
if($_SERVER['REQUEST_METHOD']=="POST"){
  $arr += $_POST;
}else{
  $arr += $_GET;
}
print_R($arr);
print_R("php_host: \t".gethostname()."\n");
$n = 0;
$start = 1;
$end = isset($_GET["id"])? $_GET["id"] : 10000 ;
for($num = $start; $num <= $end; $num++) {
    if ( $num == 1 ) continue;
    for ($i = 2; $i <= sqrt($num); $i++) {
        if ($num % $i == 0) continue 2;
    }
    $n++;
}
print_R($n."\n");
?>
安装php
yum -y install php
yum -y install php-fpm
启动服务
[root@web2 nginx]# systemctl enable php-fpm --now
[root@web2 nginx]# sbin/nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@web2 nginx]# sbin/nginx
[root@web2 nginx]# ss -utnlp | grep 80
udp    UNCONN     0      0         *:68                    *:*                   users:(("dhclient",pid=580,fd=6))
tcp    LISTEN     0      511       *:80                    *:*                   users:(("nginx",pid=13691,fd=6),("nginx",pid=13690,fd=6))
[root@web2 nginx]# ss -utnlp | grep 9000
tcp    LISTEN     0      128    127.0.0.1:9000                  *:*                   users:(("php-fpm",pid=13687,fd=0),("php-fpm",pid=13686,fd=0),("php-fpm",pid=13685,fd=0),("php-fpm",pid=13684,fd=0),("php-fpm",pid=13683,fd=0),("php-fpm",pid=13682,fd=6))

#关闭nginx服务
[root@web2 ~]# /usr/local/nginx/sbin/nginx -s sotp
配置nginx开机自启
把nginx加入系统服务，使用systemctl控制(笔者采用此种方法)
#编写Unit文件，使systemctl命令控制nginx

[root@web2 ~]# vim /usr/lib/systemd/system/nginx.service
[Unit]
Description=The Nginx HTTP Server
After=network.target remote-fs.target nss-lookup.target

[Service]
#nginx是多进程类型程序，要设置为forking
Type=forking
#当执行了systemctl start nginx之后执行的命令
ExecStart=/usr/local/nginx/sbin/nginx
#当执行了systemctl reload nginx之后执行的命令
ExecReload=/usr/local/nginx/sbin/nginx -s reload
#当执行了systemctl stop nginx之后执行的命令，这里是用kill命令发送退出信号给nginx的进程号，相当于停止nginx服务，-s QUIT是发送退出信号，$MAINPID是变量，里面存了nginx的进程号
ExecStop=/bin/kill -s QUIT ${MAINPID}

[Install]
#支持开机自启
WantedBy=multi-user.target

#激活刚才的test.service文件，但有时可能不好使，可以重启系统然后重启服务之后可以用systemctl等命令控制nginx
[root@web2 ~]# systemctl daemon-reload
#启动服务并设置开机自启
[root@web2 ~]# systemctl enable nginx --now
Created symlink from /etc/systemd/system/multi-user.target.wants/nginx.service to /usr/lib/systemd/system/nginx.service.
[root@webw ~]# ss -utnlp | grep nginx
tcp    LISTEN     0      511       *:80                    *:*                   users:(("nginx",pid=1748,fd=6),("nginx",pid=1747,fd=6))
把nginx启动命令写入开机启动脚本
[root@web2 ~]# echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local
本机访问查看
[root@web2 nginx]# curl localhost
<html>
  <marquee  behavior="alternate">
      <font size="12px" color=#00ff00>Hello World web2~~~~</font>
  </marquee>
</html>
[root@web2 nginx]# curl localhost/test.php
<pre>
Array
(
    [REMOTE_ADDR] => 127.0.0.1
    [REQUEST_METHOD] => GET
    [HTTP_USER_AGENT] => curl/7.29.0
    [REQUEST_URI] => /test.php
)
php_host:       web2
1229

配置lvs服务器双网卡

创建子网

登录控制台，进入虚拟私有云VPC
在这里插入图片描述
单击我的VPC，按名称/ID进入vpc
在这里插入图片描述
1，点击子网的数字，进入子网，创建子网
在这里插入图片描述
在这里插入图片描述

2，单机拓扑图，进入拓扑图，点击图中加号，创建子网
在这里插入图片描述
在这里插入图片描述

创建子网
在这里插入图片描述

配置第二个弹性网卡

lvs-0001配置第二个弹性网卡（图示为已绑定）

为lvs-0001服务器添加新的弹性网卡，并设置新网段的ip地址
选择要新增网卡的服务器
在这里插入图片描述
新增网卡，设置ip
在这里插入图片描述

lvs-0002配置第二个弹性网卡（图示为已绑定）

与lvs-0001配置第二个弹性网卡方法相同
在这里插入图片描述

配置策略路由

当云服务器配置了多张网卡时，需要在云服务器内部配置策略路由来实现非主网卡的通信。未设置路由规则，扩展网卡的IP将无法访问
配置路由策略

详情见：https://support.huaweicloud.com/trouble-ecs/ecs_trouble_0110.html

获取信息

获取源端即本机的每个网卡IP地址，网卡名称
获取每个IP地址对应的网关信息，子网网段信息
获取目的端的ip地址

获取lvs-0001的IP地址

服务器终端ifconfig或者华为云查看弹性服务器获取IP地址

[root@lvs-0001 ~]# ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.0.30  netmask 255.255.255.0  broadcast 192.168.0.255
        inet6 fe80::f816:3eff:fee0:3856  prefixlen 64  scopeid 0x20<link>
        ether fa:16:3e:e0:38:56  txqueuelen 1000  (Ethernet)
        RX packets 5568  bytes 1699453 (1.6 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 5464  bytes 2347919 (2.2 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

eth1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.1.30  netmask 255.255.255.0  broadcast 192.168.1.255
        inet6 fe80::f816:3eff:fe16:6e8b  prefixlen 64  scopeid 0x20<link>
        ether fa:16:3e:16:6e:8b  txqueuelen 1000  (Ethernet)
        RX packets 64  bytes 3887 (3.7 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 9  bytes 970 (970.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
获取lvs-0002的IP地址
[root@lvs-0002 ~]# ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.0.31  netmask 255.255.255.0  broadcast 192.168.0.255
        inet6 fe80::f816:3eff:fee0:3857  prefixlen 64  scopeid 0x20<link>
        ether fa:16:3e:e0:38:57  txqueuelen 1000  (Ethernet)
        RX packets 3427  bytes 1070844 (1.0 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 3490  bytes 1472206 (1.4 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

eth1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.1.31  netmask 255.255.255.0  broadcast 192.168.1.255
        inet6 fe80::f816:3eff:fe16:6e8c  prefixlen 64  scopeid 0x20<link>
        ether fa:16:3e:16:6e:8c  txqueuelen 1000  (Ethernet)
        RX packets 2  bytes 415 (415.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 9  bytes 970 (970.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
获取子网网段和网关

华为云进入 -->虚拟私有云–>子网–>名称/ID–>基本信息，查看子网网段和网关
lvs-0001和lvs-0002拓展网卡在同一网段，查询一个即可
lvs-0001和lvs-0002主网卡在同一网段，查询一个即可
在这里插入图片描述
在这里插入图片描述

获取扩展网卡的子网网段和网关

在这里插入图片描述

获取主网卡的子网网段和网关

在这里插入图片描述

获取目的端的ip地址

web1和web2网卡在同一网段，查询一个即可

[root@web1 ~]# ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.0.20  netmask 255.255.255.0  broadcast 192.168.0.255
        inet6 fe80::f816:3eff:fee0:384c  prefixlen 64  scopeid 0x20<link>
        ether fa:16:3e:e0:38:4c  txqueuelen 1000  (Ethernet)
        RX packets 2131  bytes 618430 (603.9 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 2220  bytes 847737 (827.8 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@web2 ~]# ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.0.21  netmask 255.255.255.0  broadcast 192.168.0.255
        inet6 fe80::f816:3eff:fee0:384d  prefixlen 64  scopeid 0x20<link>
        ether fa:16:3e:e0:38:4d  txqueuelen 1000  (Ethernet)
        RX packets 2212  bytes 629393 (614.6 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 2255  bytes 850290 (830.3 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

获取信息如下

------
端服务器网卡名称IP地址子网网段子网网关
源端lvs-0001eth0192.168.0.30192.168.0.0192.168.0.1
源端lvs-0001eth1192.168.1.30192.168.1.0192.168.1.1
源端lvs-0002eth0192.168.0.31192.168.0.0192.168.0.1
源端lvs-0002eth1192.168.1.31192.168.1.0192.168.1.1
目的端web1eth0192.168.0.20//
目的端web2eth0192.168.0.21//

配置多网卡策略路由前，请务必确保源主网卡和目的端通信正常。

检查源端云服务器主网卡和目的端云服务器通信情况

ping -I 源端云服务器主网卡地址 目的端云服务器地址

服务器主网卡和目的端云服务器通信正常
[root@lvs-0001 ~]# ping -I 192.168.0.30 192.168.0.20
PING 192.168.0.20 (192.168.0.20) from 192.168.0.30 : 56(84) bytes of data.
64 bytes from 192.168.0.20: icmp_seq=1 ttl=64 time=1.17 ms
64 bytes from 192.168.0.20: icmp_seq=2 ttl=64 time=0.256 ms
64 bytes from 192.168.0.20: icmp_seq=3 ttl=64 time=0.243 ms

--- 192.168.0.20 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2001ms
rtt min/avg/max/mdev = 0.243/0.557/1.173/0.435 ms
配置前服务器主网卡和目的端云服务器不能通信
[root@lvs-0001 ~]# ping -I 192.168.1.30 192.168.0.20
PING 192.168.0.20 (192.168.0.20) from 192.168.1.30 : 56(84) bytes of data.

--- 192.168.0.20 ping statistics ---
7 packets transmitted, 0 received, 100% packet loss, time 5999ms

配置命令格式

依次执行以下命令，添加主网卡和扩展网卡的策略路由。

主网卡

ip route add default via 主网卡子网网关 dev 主网卡网卡名称 table 自定义路由表名称

ip route add 主网卡子网网段 dev 主网卡网卡名称 table 路由表名称

ip rule add from 主网卡网卡地址 table 路由表名称

扩展网卡

ip route add default via 扩展网卡子网网关 dev 扩展网卡网卡名称 table 自定义路由表名称，不能重名

ip route add 扩展网卡子网网段 dev 扩展网卡网卡名称 table 路由表名称

ip rule add from 扩展网卡网卡地址 table 路由表名称

其他扩展网卡同样配置，路由表名字可自定义，但不能重名

执行配置命令，配置lvs-0001策略路由

web2与web1同网段，目的端配置web1即可

配置主网卡
[root@lvs-0001 ~]# ip route add default via 192.168.0.1 dev eth0 table 10
[root@lvs-0001 ~]# ip route add 192.168.0.0/24 dev eth0 table 10
[root@lvs-0001 ~]# ip rule add from 192.168.0.30 table 10
配置扩展网卡
[root@lvs-0001 ~]# ip route add default via 192.168.1.1 dev eth1 table 20
[root@lvs-0001 ~]# ip route add 192.168.1.0/24 dev eth1 table 20
[root@lvs-0001 ~]# ip rule add from 192.168.1.30 table 20

查看配置验证

[root@lvs-0001 ~]# ip rule
0:      from all lookup local
32763:  from all to 169.254.169.254 lookup main
32764:  from 192.168.1.30 lookup 20
32765:  from 192.168.0.30 lookup 10
32766:  from all lookup main
32767:  from all lookup default
[root@lvs-0001 ~]# ip route show table 10
default via 192.168.0.1 dev eth0
192.168.0.0/24 dev eth0 scope link
[root@lvs-0001 ~]# ip route show table 20
default via 192.168.1.1 dev eth1
192.168.1.0/24 dev eth1 scope link

测试通信验证

ping -I 源端云服务器主网卡地址 目的端云服务器地址

ping -I 源端云服务器扩展网卡地址 目的端云服务器地址

服务器主网卡和扩展网卡和目的端云服务器都能通信
[root@lvs-0001 ~]# ping -I 192.168.0.30 192.168.0.20
PING 192.168.0.20 (192.168.0.20) from 192.168.0.30 : 56(84) bytes of data.
64 bytes from 192.168.0.20: icmp_seq=1 ttl=64 time=0.384 ms
64 bytes from 192.168.0.20: icmp_seq=2 ttl=64 time=0.249 ms
64 bytes from 192.168.0.20: icmp_seq=3 ttl=64 time=0.218 ms

--- 192.168.0.20 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2000ms
rtt min/avg/max/mdev = 0.218/0.283/0.384/0.074 ms
[root@lvs-0001 ~]# ping -I 192.168.1.30 192.168.0.20
PING 192.168.0.20 (192.168.0.20) from 192.168.1.30 : 56(84) bytes of data.
64 bytes from 192.168.0.20: icmp_seq=1 ttl=64 time=0.722 ms
64 bytes from 192.168.0.20: icmp_seq=2 ttl=64 time=0.264 ms
64 bytes from 192.168.0.20: icmp_seq=3 ttl=64 time=0.219 ms

--- 192.168.0.20 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2000ms
rtt min/avg/max/mdev = 0.219/0.401/0.722/0.228 ms

永久配置策略路由

临时路由配置完后立即生效，当云服务器重启后临时路由会丢失，需要配置永久路由，避免云服务器重启后网络中断。

把路由配置追加写入开机运行的文件，/etc/rc.local
[root@lvs-0001 ~]# vim /etc/rc.local
# wait for nics up
sleep 5
# Add v4 routes for eth0
ip route flush table 10
ip route add default via 192.168.0.1 dev eth0 table 10
ip route add 192.168.0.0/24 dev eth0 table 10
ip rule add from 192.168.0.30 table 10
# Add v4 routes for eth1
ip route flush table 20
ip route add default via 192.168.1.1 dev eth1 table 20
ip route add 192.168.1.0/24 dev eth1 table 20
ip rule add from 192.168.1.30 table 20
# Add v4 routes for cloud-init
ip rule add to 169.254.169.254 table main
参数说明：
  • wait for nics up：文件启动时间，建议和本示例中的配置保持一致。
  • Add v4 routes for eth0：主网卡的策略路由，和上方配置保持一致。
  • Add v4 routes for eth1：扩展网卡的策略路由，和上方配置保持一致。
  • Add v4 routes for cloud-init：配置cloud-init地址，请和本示例中的配置保持一致，不要修改。
给文件添加执行权限

chmod +x /etc/rc.local

[root@lvs-0001 ~]# chmod +x /etc/rc.local

重启服务器使配置永久生效

重启服务器使配置永久生效，此处请确保不影响业务再重启云服务器操作

[root@lvs-0001 ~]# reboot

检查源端云服务器主网卡和目的端云服务器通信情况

ping -I 源端云服务器主网卡地址 目的端云服务器地址

服务器主网卡和目的端云服务器通信正常
[root@lvs-0002 ~]# ping -I 192.168.0.31 192.168.0.20
PING 192.168.0.20 (192.168.0.20) from 192.168.0.31 : 56(84) bytes of data.
64 bytes from 192.168.0.20: icmp_seq=1 ttl=64 time=0.564 ms
64 bytes from 192.168.0.20: icmp_seq=2 ttl=64 time=0.251 ms

--- 192.168.0.20 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1000ms
rtt min/avg/max/mdev = 0.251/0.407/0.564/0.157 ms
配置前服务器主网卡和目的端云服务器不能通信
[root@lvs-0002 ~]# ping -I 192.168.1.31 192.168.0.20
PING 192.168.0.20 (192.168.0.20) from 192.168.1.31 : 56(84) bytes of data.

--- 192.168.0.20 ping statistics ---
7 packets transmitted, 0 received, 100% packet loss, time 5999ms

配置命令格式

依次执行以下命令，添加主网卡和扩展网卡的策略路由。

主网卡

ip route add default via 主网卡子网网关 dev 主网卡网卡名称 table 自定义路由表名称

ip route add 主网卡子网网段 dev 主网卡网卡名称 table 路由表名称

ip rule add from 主网卡网卡地址 table 路由表名称

扩展网卡

ip route add default via 扩展网卡子网网关 dev 扩展网卡网卡名称 table 自定义路由表名称，不能重名

ip route add 扩展网卡子网网段 dev 扩展网卡网卡名称 table 路由表名称

ip rule add from 扩展网卡网卡地址 table 路由表名称

其他扩展网卡同样配置，路由表名字可自定义，但不能重名

执行配置命令，配置lvs-0002策略路由

web2与web1同网段，目的端配置web1即可

配置主网卡
[root@lvs-0002 ~]# ip route add default via 192.168.0.1 dev eth0 table 100
[root@lvs-0002 ~]# ip route add 192.168.0.0/24 dev eth0 table 100
[root@lvs-0002 ~]# ip rule add from 192.168.0.31 table 100
配置扩展网卡
[root@lvs-0002 ~]# ip route add default via 192.168.1.1 dev eth1 table 200
[root@lvs-0002 ~]# ip route add 192.168.1.0/24 dev eth1 table 200
[root@lvs-0002 ~]# ip rule add from 192.168.1.31 table 200

查看配置验证

[root@lvs-0002 ~]# ip rule
0:      from all lookup local
32764:  from 192.168.1.31 lookup 20
32765:  from 192.168.0.31 lookup 10
32766:  from all lookup main
32767:  from all lookup default
[root@lvs-0002 ~]# ip route show table 10
default via 192.168.0.1 dev eth0
192.168.0.0/24 dev eth0 scope link
[root@lvs-0002 ~]# ip route show table 20
default via 192.168.1.1 dev eth1
192.168.1.0/24 dev eth1 scope link

测试通信验证

服务器主网卡和扩展网卡和目的端云服务器都能通信
[root@lvs-0002 ~]# ping -I 192.168.0.31  192.168.0.20
PING 192.168.0.20 (192.168.0.20) from 192.168.0.31 : 56(84) bytes of data.
64 bytes from 192.168.0.20: icmp_seq=1 ttl=64 time=0.713 ms
64 bytes from 192.168.0.20: icmp_seq=2 ttl=64 time=0.303 ms

--- 192.168.0.20 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1000ms
rtt min/avg/max/mdev = 0.303/0.508/0.713/0.205 ms
[root@lvs-0002 ~]# ping -I 192.168.1.31  192.168.0.20
PING 192.168.0.20 (192.168.0.20) from 192.168.1.31 : 56(84) bytes of data.
64 bytes from 192.168.0.20: icmp_seq=1 ttl=64 time=0.440 ms
64 bytes from 192.168.0.20: icmp_seq=2 ttl=64 time=0.264 ms

--- 192.168.0.20 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.264/0.352/0.440/0.088 ms

永久配置策略路由

临时路由配置完后立即生效，当云服务器重启后临时路由会丢失，需要配置永久路由，避免云服务器重启后网络中断。

把路由配置追加写入开机运行的文件，/etc/rc.local
[root@lvs-0002 ~]# vim /etc/rc.local
# wait for nics up
sleep 5
# Add v4 routes for eth0
ip route flush table 100
ip route add default via 192.168.0.1 dev eth0 table 100
ip route add 192.168.0.0/24 dev eth0 table 100
ip rule add from 192.168.0.31 table 100
# Add v4 routes for eth1
ip route flush table 200
ip route add default via 192.168.1.1 dev eth1 table 200
ip route add 192.168.1.0/24 dev eth1 table 200
ip rule add from 192.168.1.31 table 200
# Add v4 routes for cloud-init
ip rule add to 169.254.169.254 table main
参数说明：
  • wait for nics up：文件启动时间，建议和本示例中的配置保持一致。
  • Add v4 routes for eth0：主网卡的策略路由，和上方配置保持一致。
  • Add v4 routes for eth1：扩展网卡的策略路由，和上方配置保持一致。
  • Add v4 routes for cloud-init：配置cloud-init地址，请和本示例中的配置保持一致，不要修改。
给文件添加执行权限

chmod +x /etc/rc.local

[root@lvs-0002 ~]# chmod +x /etc/rc.local

重启服务器使配置永久生效

重启服务器使配置永久生效，此处请确保不影响业务再重启云服务器操作

[root@lvs-0002 ~]# reboot

配置lvs的nat模式

lvs-0001配置lvs的nat模式

配置内核转发

LVS已经被集成到Linux内核模块中

#net.ipv4.ip_forward = 1为配置成功
[root@lvs-0001 ~]# echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
#生效配置
[root@lvs-0001 ~]# sysctl -p
#查看验证
[root@lvs-0001 ~]# sysctl -a | grep ip_forward
net.ipv4.ip_forward = 1
net.ipv4.ip_forward_use_pmtu = 0
sysctl: reading key "net.ipv6.conf.all.stable_secret"
sysctl: reading key "net.ipv6.conf.default.stable_secret"
sysctl: reading key "net.ipv6.conf.eth0.stable_secret"
sysctl: reading key "net.ipv6.conf.eth1.stable_secret"
sysctl: reading key "net.ipv6.conf.lo.stable_secret"
安装ipvsadm

ipvsadm命令是LVS在应用层的管理命令，我们可以通过这个命令去管理LVS的配置。ipvsadm是一个工具，同时它也是一条命令，用于管理LVS的策略规则。
ipvsadm服务，通过系统服务的方式开启关闭LVS的策略规则

[root@lvs-0001 ~]# yum install -y ipvsadm
ipvsadm使用说明
-A: 添加虚拟服务器
-E: 编辑虚拟服务器
-D: 删除虚拟服务器
-t: 添加tcp服务器
-u: 添加udp服务器
-s: 指定调度算法。如轮询rr/加权轮询wrr/最少连接lc/加权最少连接wlc

-a: 添加虚拟服务器后，向虚拟服务器中加入真实服务器
-r: 指定真实服务器
-w: 设置权重
-m: 指定工作模式为NAT
-g: 指定工作模式为DR
设置规则

ipvsadm的配置当前立即生效

#配置轮询调度web1，web2
[root@lvs-0001 ~]# ipvsadm -A -t 192.168.1.30:80 -s rr
#因为只是配置轮询，非加权轮询。设置的权重不起作用
[root@lvs-0001 ~]# ipvsadm -a -t 192.168.1.30:80 -r 192.168.0.20 -w 1 -m
[root@lvs-0001 ~]# ipvsadm -a -t 192.168.1.30:80 -r 192.168.0.21 -w 2 -m

#查看调度策略
[root@lvs-0001 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.30:80 rr
  -> 192.168.0.20:80              Masq    1      0          0
  -> 192.168.0.21:80              Masq    2      0          0
把规则保存到ipvsadm服务启动时需要读取的文件/etc/sysconfig/ipvsadm
添加eth1网卡IP地址的名称解析（使用ipvsadm服务需要）

保存的规则会把ip地址替换为主机名，从配置文件加载规则时，默认主机名对应eth0的IP地址。添加对eth1网卡IP地址的名称解析，会在从配置文件加载规则时，把主机名对应eth1的IP地址，这是我们需要的

[root@lvs-0001 ~]# vim /etc/hosts
192.168.1.30    lvs-0001
查看ipvsadm服务的文件
[root@lvs-0001 ~]# rpm -ql ipvsadm
/etc/sysconfig/ipvsadm-config
/usr/lib/systemd/system/ipvsadm.service
/usr/sbin/ipvsadm
/usr/sbin/ipvsadm-restore
/usr/sbin/ipvsadm-save
/usr/share/doc/ipvsadm-1.27
/usr/share/doc/ipvsadm-1.27/README
/usr/share/man/man8/ipvsadm-restore.8.gz
/usr/share/man/man8/ipvsadm-save.8.gz
/usr/share/man/man8/ipvsadm.8.gz
查看ipvsadm服务文件/usr/lib/systemd/system/ipvsadm.service
#关闭服务时规则从文件/etc/sysconfig/ipvsadm保存，开启服务时规则从文件/etc/sysconfig/ipvsadm加载
[root@lvs-0001 ~]# cat /usr/lib/systemd/system/ipvsadm.service
[Unit]
Description=Initialise the Linux Virtual Server
After=syslog.target network.target

[Service]
Type=oneshot
ExecStart=/bin/bash -c "exec /sbin/ipvsadm-restore < /etc/sysconfig/ipvsadm"
ExecStop=/bin/bash -c "exec /sbin/ipvsadm-save -n > /etc/sysconfig/ipvsadm"
ExecStop=/sbin/ipvsadm -C
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target
保存规则到/etc/sysconfig/ipvsadm
[root@lvs-0001 ~]# ipvsadm-save  > /etc/sysconfig/ipvsadm
启动ipvsadm服务,设置开机自启
[root@lvs-0001 ~]# systemctl daemon-reload
[root@lvs-0001 ~]# systemctl enable ipvsadm.service --now
[root@lvs-0001 ~]#  systemctl status ipvsadm.service
关闭弹性网卡的源/目的检查

在这里插入图片描述

访问web服务测试
[root@lvs-0001 ~]# curl 192.168.1.30
<html>
  <marquee  behavior="alternate">
      <font size="12px" color=#00ff00>Hello World web2~~~~</font>
  </marquee>
</html>
[root@lvs-0001 ~]# curl 192.168.1.30
<html>
  <marquee  behavior="alternate">
      <font size="12px" color=#00ff00>Hello World web1~~~~ </font>
  </marquee>
</html>

lvs-0002 配置lvs的nat模式

配置内核转发

LVS已经被集成到Linux内核模块中

[root@lvs-0002 ~]# echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
[root@lvs-0002 ~]# sysctl -p
vm.swappiness = 0
net.core.somaxconn = 1024
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_max_syn_backlog = 1024
net.ipv4.ip_forward = 1
[root@lvs-0002 ~]# sysctl -a | grep ip_forward
net.ipv4.ip_forward = 1
net.ipv4.ip_forward_use_pmtu = 0
sysctl: reading key "net.ipv6.conf.all.stable_secret"
sysctl: reading key "net.ipv6.conf.default.stable_secret"
sysctl: reading key "net.ipv6.conf.eth0.stable_secret"
sysctl: reading key "net.ipv6.conf.eth1.stable_secret"
sysctl: reading key "net.ipv6.conf.lo.stable_secret"
安装ipvsadm

ipvsadm命令是LVS在应用层的管理命令，我们可以通过这个命令去管理LVS的配置。ipvsadm是一个工具，同时它也是一条命令，用于管理LVS的策略规则。
ipvsadm服务，通过系统服务的方式开启关闭LVS的策略规则

[root@lvs-0002 ~]# yum -y install ipvsadm.x86_64
ipvsadm使用说明
-A: 添加虚拟服务器
-E: 编辑虚拟服务器
-D: 删除虚拟服务器
-t: 添加tcp服务器
-u: 添加udp服务器
-s: 指定调度算法。如轮询rr/加权轮询wrr/最少连接lc/加权最少连接wlc

-a: 添加虚拟服务器后，向虚拟服务器中加入真实服务器
-r: 指定真实服务器
-w: 设置权重
-m: 指定工作模式为NAT
-g: 指定工作模式为DR
设置规则

ipvsadm的配置当前立即生效

[root@lvs-0002 ~]# ipvsadm -A -t 192.168.1.31:80 -s rr
[root@lvs-0002 ~]# ipvsadm -a -t 192.168.1.31:80 -r 192.168.0.20 -w 1 -m
[root@lvs-0002 ~]# ipvsadm -a -t 192.168.1.31:80 -r 192.168.0.21 -w 2 -m
[root@lvs-0002 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.31:80 rr
  -> 192.168.0.20:80              Masq    1      0          0
  -> 192.168.0.21:80              Masq    2      0          0
把规则保存到ipvsadm服务启动时需要读取的文件/etc/sysconfig/ipvsadm
添加eth1网卡IP地址的名称解析（使用ipvsadm服务需要）

保存的规则会把ip地址替换为主机名，从配置文件加载规则时，默认主机名对应eth0的IP地址。添加对eth1网卡IP地址的名称解析，会在从配置文件加载规则时，把主机名对应eth1的IP地址，这是我们需要的

[root@lvs-0002 ~]# vim /etc/hosts
192.168.1.31	lvs-0002
保存规则到/etc/sysconfig/ipvsadm
[root@lvs-0002 ~]# ipvsadm-save  > /etc/sysconfig/ipvsadm
启动ipvsadm服务,设置开机自启
[root@lvs-0002 ~]# systemctl daemon-reload
[root@lvs-0002 ~]# systemctl enable ipvsadm.service --now
Created symlink from /etc/systemd/system/multi-user.target.wants/ipvsadm.service to /usr/lib/systemd/system/ipvsadm.service.
[root@lvs-0002 ~]# systemctl status ipvsadm.service
关闭弹性网卡的源/目的检查

在这里插入图片描述

访问web服务测试
[root@lvs-0002 ~]# curl 192.168.1.31
<html>
  <marquee  behavior="alternate">
      <font size="12px" color=#00ff00>Hello World web1~~~~ </font>
  </marquee>
</html>

[root@lvs-0002 ~]# curl 192.168.1.31
<html>
  <marquee  behavior="alternate">
      <font size="12px" color=#00ff00>Hello World web2~~~~</font>
  </marquee>
</html>

配置keepalived

Keepalived起初是为LVS设计的，可以通过keepalived配置lvs规则，并配置对后端服务器的健康检测和故障隔离

lvs-0001安装配置keepalived

yum -y install keepalived.x86_64

vim /etc/keepalived/keepalived.conf
 12    router_id lvs-0001	#设置本机在集群中的唯一识别符
 13    vrrp_iptables	# 自动配置iptables放行规则
 14    vrrp_skip_check_adv_addr
 15    vrrp_strict
 16    vrrp_garp_interval 0
 17    vrrp_gna_interval 0
 18 }
 19
 20 vrrp_instance VI_1 {
 21     state MASTER	# 状态，主为MASTER，备为BACKUP
 22     interface eth1	#此处为与客户端交互的网卡
 23     virtual_router_id 51	# 虚拟路由器地址
 24     priority 100	# 优先级，数字越大越优先
 25     advert_int 1	## 发送心跳消息的间隔
 26     authentication {
 27         auth_type PASS	# 认证类型为共享密码
 28         auth_pass 1111	## 集群中的机器密码相同，才能成为集群
 29     }
 30     virtual_ipaddress {
 31         192.168.1.200/24	# VIP地址，可配置多个
 32     }
 33 }
 34 #以下为keepalived配置lvs的规则 健康检测
 35   virtual_server 192.168.1.200 80 {   # 声明虚拟服务器地址
 36       delay_loop 6     # 健康检查延迟6秒开始
 37       lb_algo rr      # 调度算法为rr
 38       lb_kind NAT       # 工作模式为NAT
 39       #persistence_timeout 50  # 50秒内相同客户端调度到相同服务器，注释便于验证结果
 40       protocol TCP     # 协议是TCP
 41
 42       real_server 192.168.0.20 80 {   # 声明真实服务器
 43           weight 1          # 权重，调度算法为rr不起作用
 44           TCP_CHECK {       # 通过TCP协议对真实服务器做健康检查
 45               connect_timeout 3 # 连接超时时间为3秒
 46               nb_get_retry 3    # 3次访问失败则认为真实服务器故障
 47               delay_before_retry 3  # 两次检查时间的间隔3秒
 48           }
 49       }
 50       real_server 192.168.0.21 80 {
 51           weight 2
 52           TCP_CHECK {
 53               connect_timeout 3
 54               nb_get_retry 3
 55               delay_before_retry 3
 56           }
 57       }
 58   }
 59	# 删除下面所有行

lvs-0002安装配置keepalived

yum -y install keepalived.x86_64

vim /etc/keepalived/keepalived.conf
 12    router_id lvs-0002	#设置本机在集群中的唯一识别符
 13    vrrp_iptables	# 自动配置iptables放行规则
 14    vrrp_skip_check_adv_addr
 15    vrrp_strict
 16    vrrp_garp_interval 0
 17    vrrp_gna_interval 0
 18 }
 19
 20 vrrp_instance VI_1 {
 21     state BACKUP	# 状态，主为MASTER，备为BACKUP
 22     interface eth1	#此处为与客户端交互的网卡
 23     virtual_router_id 51	# 虚拟路由器地址
 24     priority 80	# 优先级，数字越大越优先
 25     advert_int 1	## 发送心跳消息的间隔
 26     authentication {
 27         auth_type PASS	# 认证类型为共享密码
 28         auth_pass 1111	## 集群中的机器密码相同，才能成为集群
 29     }
 30     virtual_ipaddress {
 31         192.168.1.200/24	# VIP地址，可配置多个
 32     }
 33 }
 34 #以下为keepalived配置lvs的规则 健康检测
 35   virtual_server 192.168.1.200 80 {   # 声明虚拟服务器地址
 36       delay_loop 6     # 健康检查延迟6秒开始
 37       lb_algo rr      # 调度算法为rr
 38       lb_kind NAT       # 工作模式为NAT
 39       #persistence_timeout 50  # 50秒内相同客户端调度到相同服务器，注释便于验证结果
 40       protocol TCP     # 协议是TCP
 41
 42       real_server 192.168.0.20 80 {   # 声明真实服务器
 43           weight 1          # 权重，调度算法为rr不起作用
 44           TCP_CHECK {       # 通过TCP协议对真实服务器做健康检查
 45               connect_timeout 3 # 连接超时时间为3秒
 46               nb_get_retry 3    # 3次访问失败则认为真实服务器故障
 47               delay_before_retry 3  # 两次检查时间的间隔3秒
 48           }
 49       }
 50       real_server 192.168.0.21 80 {
 51           weight 2
 52           TCP_CHECK {
 53               connect_timeout 3
 54               nb_get_retry 3
 55               delay_before_retry 3
 56           }
 57       }
 58   }
 59	# 删除下面所有行

启动keepalived服务

keepalived的虚拟IP在lvs-0001

启动lvs-0001的keepalived服务

[root@lvs-0001 ~]# systemctl enable keepalived.service --now

[root@lvs-0001 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.30:80 rr
  -> 192.168.0.20:80              Masq    1      0          0
  -> 192.168.0.21:80              Masq    2      0          0
TCP  192.168.1.200:80 rr persistent 50
  -> 192.168.0.20:80              Masq    1      0          0
  -> 192.168.0.21:80              Masq    2      0          0


#keepalived的虚拟IP在lvs-0001
[root@lvs-0001 ~]# ip a s
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether fa:16:3e:e0:38:56 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.30/24 brd 192.168.0.255 scope global noprefixroute dynamic eth0
       valid_lft 74083sec preferred_lft 74083sec
    inet6 fe80::f816:3eff:fee0:3856/64 scope link
       valid_lft forever preferred_lft forever
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether fa:16:3e:16:6e:8b brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.30/24 brd 192.168.1.255 scope global noprefixroute eth1
       valid_lft forever preferred_lft forever
    inet 192.168.1.200/24 scope global secondary eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::f816:3eff:fe16:6e8b/64 scope link
       valid_lft forever preferred_lft forever
启动lvs-0002的keepalived服务
[root@lvs-0002 ~]# systemctl enable keepalived.service --now

[root@lvs-0002 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.31:80 rr
  -> 192.168.0.20:80              Masq    1      0          0
  -> 192.168.0.21:80              Masq    2      0          0
TCP  192.168.1.200:80 rr
  -> 192.168.0.20:80              Masq    1      0          0
  -> 192.168.0.21:80              Masq    2      0          0

[root@lvs-0002 ~]# ip a s
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether fa:16:3e:e0:38:57 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.31/24 brd 192.168.0.255 scope global noprefixroute dynamic eth0
       valid_lft 74218sec preferred_lft 74218sec
    inet6 fe80::f816:3eff:fee0:3857/64 scope link
       valid_lft forever preferred_lft forever
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether fa:16:3e:16:6e:8c brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.31/24 brd 192.168.1.255 scope global noprefixroute eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::f816:3eff:fe16:6e8c/64 scope link
       valid_lft forever preferred_lft forever

申请虚拟IP，绑定虚拟IP

控制台–>子网–>eth1网卡IP对应的子网–>IP地址管理–>申请虚拟IP–>绑定实例lvs-001和lvs-002的eth1网卡–>绑定弹性公网IP
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

配置虚拟IP的策略路由

配置lvs-001虚拟IP的策略路由
#配置策略路由
[root@lvs-0001 ~]# ip route add default via 192.168.1.1 dev eth1 table 201
[root@lvs-0001 ~]# ip route add 192.168.1.0/24 dev eth1 table 201
[root@lvs-0001 ~]# ip rule add from 192.168.1.200 table 201


#永久配置
[root@lvs-0001 ~]# vim /etc/rc.local
# wait for nics up
sleep 5
# Add v4 routes for eth0
ip route flush table 100
ip route add default via 192.168.0.1 dev eth0 table 100
ip route add 192.168.0.0/24 dev eth0 table 100
ip rule add from 192.168.0.31 table 100
# Add v4 routes for eth1
ip route flush table 200
ip route add default via 192.168.1.1 dev eth1 table 200
ip route add 192.168.1.0/24 dev eth1 table 200
ip rule add from 192.168.1.31 table 200
# Add v4 routes for eth1 vip
ip route flush table 201
ip route add default via 192.168.1.1 dev eth1 table 201
ip route add 192.168.1.0/24 dev eth1 table 201
ip rule add from 192.168.1.200 table 201
# Add v4 routes for cloud-init
ip rule add to 169.254.169.254 table main


#ping测试联通正常
[root@lvs-0001 ~]#  ping -I 192.168.1.200 192.168.0.20
PING 192.168.0.20 (192.168.0.20) from 192.168.1.200 : 56(84) bytes of data.
64 bytes from 192.168.0.20: icmp_seq=1 ttl=63 time=0.305 ms
64 bytes from 192.168.0.20: icmp_seq=2 ttl=63 time=0.287 ms
64 bytes from 192.168.0.20: icmp_seq=3 ttl=63 time=0.274 ms

--- 192.168.0.20 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 1999ms
rtt min/avg/max/mdev = 0.274/0.288/0.305/0.023 ms
配置lvs-002虚拟IP的策略路由
#配置策略路由
[root@lvs-0002 ~]# ip route add default via 192.168.1.1 dev eth1 table 201
[root@lvs-0002 ~]# ip route add 192.168.1.0/24 dev eth1 table 201
[root@lvs-0002 ~]# ip rule add from 192.168.1.200 table 201

#永久配置
[root@lvs-0002 ~]# vim /etc/rc.local
# wait for nics up
sleep 5
# Add v4 routes for eth0
ip route flush table 100
ip route add default via 192.168.0.1 dev eth0 table 100
ip route add 192.168.0.0/24 dev eth0 table 100
ip rule add from 192.168.0.31 table 100
# Add v4 routes for eth1
ip route flush table 200
ip route add default via 192.168.1.1 dev eth1 table 200
ip route add 192.168.1.0/24 dev eth1 table 200
ip rule add from 192.168.1.31 table 200
# Add v4 routes for eth1 vip
ip route flush table 201
ip route add default via 192.168.1.1 dev eth1 table 201
ip route add 192.168.1.0/24 dev eth1 table 201
ip rule add from 192.168.1.200 table 201
# Add v4 routes for cloud-init
ip rule add to 169.254.169.254 table main


#关闭lvs-0001的keepalived服务，vip漂移到lvs-0002
[root@lvs-0001 ~]# systemctl stop keepalived.service


[root@lvs-0002 ~]# ip a s
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether fa:16:3e:e0:38:57 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.31/24 brd 192.168.0.255 scope global noprefixroute dynamic eth0
       valid_lft 85177sec preferred_lft 85177sec
    inet6 fe80::f816:3eff:fee0:3857/64 scope link
       valid_lft forever preferred_lft forever
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether fa:16:3e:16:6e:8c brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.31/24 brd 192.168.1.255 scope global noprefixroute eth1
       valid_lft forever preferred_lft forever
    inet 192.168.1.200/24 scope global secondary eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::f816:3eff:fe16:6e8c/64 scope link
       valid_lft forever preferred_lft forever


[root@lvs-0002 ~]# ping -I 192.168.1.200 192.168.0.20
PING 192.168.0.20 (192.168.0.20) from 192.168.1.200 : 56(84) bytes of data.
64 bytes from 192.168.0.20: icmp_seq=1 ttl=64 time=0.747 ms
64 bytes from 192.168.0.20: icmp_seq=2 ttl=64 time=0.278 ms

--- 192.168.0.20 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 999ms
rtt min/avg/max/mdev = 0.278/0.512/0.747/0.235 ms

尚未解决的问题：

vip已能够连通到web。vip在lvs的主节点时，所有lvs服务器都能访问vip连通到web，vip不在主节点时，只能在拥有vip的lvs服务器访问vip连通到web，其他lvs服务器不能访问vip不能连通到web。不能通过vip绑定的弹性公网连通到web。

qq_44659804
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
L4+L7 负载均衡 Keepalived+LVS+nginx搭建nginx高可用集群
04-16
Keepalived+LVS+nginx搭建nginx高可用集群
使用LVS实现负载均衡原理及安装配置详解
weixin_33767813的博客
02-12 327
负载均衡集群是 load balance 集群的简写，翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy，商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。 一、负载均衡LVS基本介绍 LB集群的架构和原理很简单，就是当用户的请求过来时，会直接分发到Dir...
LVS的介绍与使用
weixin_47252600的博客
01-10 1849
被收入到Linux内核的负载均衡服务！
LVS+keepalived实现同一网段NAT模式
weixin_33693070的博客
11-08 528
2019独角兽企业重金招聘Python工程师标准>>> ...
负载均衡与高可用三剑客（LVS+NGINX+KEEPALIVED）
islautao的博客
06-03 1399
LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器，是一个由章文嵩博士发起的自由软件项目，官方站点是：The Linux Virtual Server Project¹。LVS的目标是通过Linux操作系统和负载均衡技术，实现一个高性能，高可用，高可扩展的服务器集群系统²。LVS的体系架构由三个部分组成：最前端的负载均衡层（Load Balancer），中间的服务器群组层（Server Array），最底层的数据共享存储层（Shared Storage）²。
LVS+keepalived高可用负载均衡（NAT模式）集群架构
hhhhhhhzp的博客
06-18 591
目录架构图准备环境Keepalived配置LVS01LVS02LVS配置LVS01LVS02中断测试web1web2client上访问nfs-server服务器安装nfs-utils配置nfs服务器nfs客户端配置web001web002测试成功奈斯 架构图 准备环境 client: 10.3.2.16 LVS01: ip1: 10.3.2.17 ip2: 192.168.52.128 LVS02: ip1: 10.3.2.97 ip2: 192.168.52.131 web01: 192.168.52
LVS-Nat模式+Keepalived
晨光运维之路
04-21 1499
四台机器： 两台做lvs-nat模式的keepalived集群 两台做RS(Nginx提供静态页面即可) 两台lvs操作 lvs的master节点配置文件 [root@lvs-master ~]# yum -y install ipvsadm keepalived [root@lvs-master ~]# cat /etc/keepalived/keepalived.conf ! Configur...
LVS负载均衡集群——NAT地址转换模式与DR直接路由模式
ZHUZIH6的博客
03-22 939
集群与分布式的介绍与对比；LVS负载均衡集群的介绍；NAT地址转换模式实验与DR直接路由模式实验
KEEPALIVED+LVS+LNMP+PROXYSQL+MHA+NFS
01-09
keepalived + lvs 实现web集群高可用6.1 keepalived + lvs_016.2 keepalived + lvs_026.3 nginx + php-fpm_01 的配置6.4 nginx + php-fpm_02 的配置7. 测试后端的网站能否访问8. keepalived + lvs 实现 prox
lvs+Keepalived+nginx高可用负载均衡搭建部署方案
05-24
lvs+Keepalived+nginx高可用负载均衡搭建部署方案
Keepalived+LVS+Nginx
09-07
Keepalived+LVS+Nginx
LVS+KeepAlived+Nginx高可用实现方案.pdf
09-13
LVS+KeepAlived+Nginx高可用实现方案
Lvs+keepalived+nginx搭建高可用负载均衡集群
m0_61060496的博客
10-01 242
一：环境准备 192.168.159.130：安装Lvs+keepalived 192.168.159.131：安装Lvs+keepalived 192.168.159.128：安装httpd 192.168.159.129：安装httpd 二：配置 1，关闭四台虚拟机的防火墙，以192.168.159.130为例 关闭防火墙，查看防火墙状态，查看网络防火墙：已关闭 2，安装keepalived yum install keepalived -y 显示安装成功。 3，配...
LVS负载均衡群集——NAT模式实例
2302_76410765的博客
06-07 802
LVS：Linux Virtual Server，负载调度器，内核集成，章文嵩（花名正明）, 阿里的四层SLB(ServerLoad Balance)是基于LVS+keepalived实现LVS 官网：http://www.linuxvirtualserver.org/阿里SLB和LVS：整个SLB系统由3部分构成:四层负载均衡，七层负载均衡和控制系统四层负载均衡 ，采用开源软件LVS (linux virtual server)，并根据云计算需求对其进行了定制化;
实现keepalived高可用集群：基于NAT模式
盛夏北梦的博客
11-12 1846
注意：NAT模式的keepalive做的时候vip和dip都要漂移，因为要在real-server上配置指向lvs上的dip地址的路由，这个路由只能指定一个dip地址，所以dip要跟着一起漂移过去；还有一个方法就是写一个脚本，当lvs-server在master和backup之间切换时实现在real-server上重新指定一个在工作状态的lvs-server的dip的路由，这个比较复杂，不如直接实现
LVS（NAT）+keepalived
北海牧野
03-21 644
LVS(nat)+keepalived 拓扑图： 实验环境: linux环境最多只能拥有一台网关服务器，所有将外网省略，环境如下 client：10.0.0.1/8 lvs-master 外网网卡: 10.0.0.2/8 GW:10.0.0.1 VIP:10.0.0.100 内网网卡：192.168.10.11/24 GW:192.168.10.100 VIP:192.168.10.100 内...
实现keepalived的NAT模型
jieranjieran的博客
11-11 2962
一、NAT 工作模式 (a)当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP (b). PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链 (c). IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POST
nat和桥接网络 + nginx + 桥接模式软件下载
DDHuao的博客
04-20 378
1.Nat 和桥接网络1.1 Nat 和桥接网络的区别natNAT（Network Address Translator，网络地址转换）是用于在本地网络中使用私有地址，在连接互联网时转而使用全局 IP 地址的技术。NAT实际上是为解决而开发的技术。体系图：桥接网络：桥接模式就是将主机网卡与虚拟机虚拟的网卡利用虚拟网桥进行通信。
大小写不规范引起的LVS问题
最新发布
m0_61544122的博客
04-22 285
DC工具和ICC2写网表时都会给floating pin创建一个 "SYNOPSYS_UNCONNECTED_XX" 名字的net，如果二者不区分大小写时有相同名字出现LVS就会报错。ICC2工具也提供change_name功能，可以把命名风格固定在小写字母加数字的方式。综合网表不规范，大小写混用常导致LVS问题，比如两个端口clk和CLK只有大小写区别，PR工具是可以识别为两个端口的，只不过Calibre LVS默认不区分大小写，会报错。以ICC2为例，结合两种场景，展示不同解决方法。
nginx高可用 keepalived + lvs
08-25
而要实现nginx的高可用性，可以使用keepalived和LVS（Linux Virtual Server）。 keepalived可以将多台服务器组成一个虚拟的高可用集群，其中一台服务器作为主服务器（Master），其他服务器作为备份服务器（Backup）...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值