从零开始搭建 LVS 高可用集群 (单机)

cloud_ether

已于 2024-08-23 15:30:01 修改

阅读量855

点赞数 13

分类专栏：云原生运维 lvs 高性能集群文章标签： lvs 高可用集群高性能集群云原生 docker

于 2024-08-23 15:28:30 首次发布

本文链接：https://blog.csdn.net/qq_36652517/article/details/141467017

版权

云原生运维同时被 2 个专栏收录

12 篇文章 0 订阅

订阅专栏

lvs 高性能集群

4 篇文章 0 订阅

订阅专栏

从零开始搭建 LVS 高可用集群 (单机)

背景

从零开始搭建 LVS 高性能集群 (DR模式)
从零开始搭建 Keepalaived+Lvs 高可用集群（Aliyun部署）

经过前面2篇关于lvs集群部署文章，相信跟着部署文档，实际部署过集群的大家对lvs服务有了深刻的了解。问题是：“无法在 Aliyun 上部署keepalived + lvs 高可用集群, 那我前面学的知识点就没用了？” 。其实 lvs 在 kubernetes 集群中的使用也比较广泛。k8s 资源 service 实际上就是实现了一个 lvs 路由配置。

现在的构想就是：我不想在单个ECS实例上部署 Kubernetes 单节点，又想实现 lvs 部署 Nginx 高可用集群?

这篇文章就是关于如何在单个ESC实例上部署 Nginx 高可用集群。

架构

lvs-nginx

本设计方案采用一台阿里云服务器搭建使用容器运行的Nginx集群，并通过LVS（Linux Virtual Server）的NAT模式实现负载均衡和高可用性。LVS作为负载均衡器运行在网络层，将进入的请求分发到后端的Nginx容器实例。

流程

准备一台阿里云ECS服务器，安装必要的操作系统和软件环境，如Docker。
配置Docker环境，创建Nginx镜像，并上传到阿里云容器镜像服务。
在ECS服务器上安装并配置LVS，设置NAT模式。
启动Nginx容器实例，确保它们可以正常运行并提供服务。
在LVS中配置虚拟IP（VIP）和后端容器的IP地址及端口映射。
配置网络规则，确保流量可以正确路由到LVS监听的VIP。
测试负载均衡和高可用性，确保系统在高负载下正常工作。

各服务功能

LVS：作为负载均衡器，负责接收外部请求并分发到后端的Nginx容器。
Docker：提供容器化环境，运行Nginx服务。
Nginx：作为Web服务器，处理来自LVS的请求并提供内容服务。

部署

环境配置

Aliyun 控制台开通 弹性EIP
ECS 实例添加 弹性网卡, 并与 EIP 绑定

绑定结果

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.19.68.106  netmask 255.255.240.0  broadcast 172.19.79.255
        inet6 fe80::216:3eff:fe04:9758  prefixlen 64  scopeid 0x20<link>
        ether 00:16:3e:04:97:58  txqueuelen 1000  (Ethernet)
        RX packets 435005  bytes 89706618 (89.7 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 403875  bytes 265589398 (265.5 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

eth1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.19.68.108  netmask 255.255.240.0  broadcast 172.19.79.255
        inet6 fe80::216:3eff:fe27:98cd  prefixlen 64  scopeid 0x20<link>
        ether 00:16:3e:27:98:cd  txqueuelen 1000  (Ethernet)
        RX packets 144077  bytes 10924805 (10.9 MB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 83727  bytes 4877299 (4.8 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

部署

在阿里云控制台创建ECS实例，选择合适的配置以满足性能需求。
连接到ECS实例，安装Docker及其他依赖。
创建Nginx Dockerfile，构建镜像，并推送到容器镜像服务。
编写Docker Compose文件定义Nginx服务，使用Docker Compose启动Nginx容器。
安装LVS软件包，并配置NAT模式，设置VIP和后端Nginx容器的端口转发规则。
配置iptables规则，实现网络地址转换。
进行压力测试和故障转移测试，确保系统稳定性和可靠性。

nginx部署

docker-compose.yaml

version: "3"
services:
   nginx-8080:
     container_name: nginx-8080
     image: nginx:1.23.0-alpine
     ports:
       - 8080:80
     volumes:
       - ./logs-8080:/var/log/nginx
     restart: always

   nginx-8081:
     container_name: nginx-8081
     image: nginx:1.23.0-alpine
     ports:
       - 8081:80
     volumes:
       - ./logs-8081:/var/log/nginx
     restart: always

   nginx-8082:
     container_name: nginx-8082
     image: nginx:1.23.0-alpine
     ports:
       - 8082:80
     volumes:
       - ./logs-8082:/var/log/nginx
     restart: always

lvs部署

director.sh

#!/bin/bash

iptables -t nat -F
# VIP=139.224.136.161
VIP=172.19.68.108 # 弹性EIP

DIP=172.19.68.106 # ECS 内网IP
RIP1=172.19.68.106

# director服务器上开启路由转发功能:
echo 1 > /proc/sys/net/ipv4/ip_forward

# 关闭 icmp 的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects

# director设置 ipvsadm
IPVSADM='/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t $VIP:8080 -s rr
$IPVSADM -a -t $VIP:8080 -r $RIP1:8080 -m # nat
$IPVSADM -a -t $VIP:8080 -r $RIP1:8081 -m
$IPVSADM -a -t $VIP:8080 -r $RIP1:8082 -m


echo "start director nat mode"

测试

lvs 链路规则

root@iZuf64d3yu2ti34bwqerlqZ:/home# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.19.68.108:8080 rr
  -> 172.19.68.106:8080           Masq    1      0          0         
  -> 172.19.68.106:8081           Masq    1      0          0         
  -> 172.19.68.106:8082           Masq    1      0          0

Nginx 集群服务

root@iZuf64d3yu2ti34bwqerlqZ:/home/wcq/lvs/nginx# docker-compose ps
NAME                COMMAND                  SERVICE             STATUS              PORTS
nginx-8080          "/docker-entrypoint.…"   nginx-8080          running             0.0.0.0:8080->80/tcp, :::8080->80/tcp
nginx-8081          "/docker-entrypoint.…"   nginx-8081          running             0.0.0.0:8081->80/tcp, :::8081->80/tcp
nginx-8082          "/docker-entrypoint.…"   nginx-8082          running             0.0.0.0:8082->80/tcp, :::8082->80/tcp

Nginx 服务访问 EIP:8080负载均衡。

nginx-lvs

lvs 转发记录

root@iZuf64d3yu2ti34bwqerlqZ:/home/w# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.19.68.108:8080 rr
  -> 172.19.68.106:8080           Masq    1      0          1         # 请求转发的次数
  -> 172.19.68.106:8081           Masq    1      0          1         
  -> 172.19.68.106:8082           Masq    1      0          2

优劣势

优势：
- 高可用性：LVS和Nginx容器的结合提供了高可用的Web服务。
- 易于扩展：通过增加更多的Nginx容器实例来扩展服务能力。
- 资源隔离：容器化确保了服务之间的资源隔离和安全性。
- 快速部署：Docker容器可以快速部署和启动。
劣势：
- 单点故障：如果ECS实例出现问题，整个集群将受到影响。
- 资源限制：容器数量和性能受限于ECS实例的资源。
- 网络复杂性：配置LVS和iptables可能相对复杂。
性能监控：使用阿里云监控服务或其他第三方工具监控系统性能。
日志管理：集中管理Nginx容器的日志，便于问题排查和分析。

通过这种设计，可以构建一个在阿里云上运行的高可用和负载均衡的Nginx集群。利用容器化和LVS的组合，实现了易于扩展和管理的Web服务架构。

ISSUE

单个ESC实例上，是否可以使用 DR 或 TUN 模式？
同一台ESC实例中，运行3个Nginx服务，通过同一个端口访问，DR 与 TUN 模式都不支持端口转发。
Nginx本身就支持负载均衡，采用LVS作为Nginx 集群负载均衡的意义？
这篇文章只是一个引子，Nginx服务可以替换成其他服务。使用 lvs的高性能，替换 Nginx 做负载均衡。