实现生产级别负载均衡器搭配Nacos集群的高可用框架

---

声明:这是我在大学毕业后进入第一家互联网工作学习的内容

---

本文接上期，教大家在项目中的如何利用负载均衡和高可用组件搭建nacos集群。

架构图如下

准备

请确保是在环境中安装使用:

• 64 bit JDK 1.8+；下载.配置。
• Maven 3.2.x+；下载.配置。
• 3个或3个以上Nacos节点才能构成集群。
• keepalived
• nginx
• mysql5.7.28

服务器	IP
nginx+keepalived(主)	172.31.26.11
nginx+keepalived(备)	172.31.26.12
mysql	172.31.26.13
nacos-01	172.31.26.14
nacos-02	172.31.26.15
nacos-03	172.31.26.16
VIP	172.31.26.200

安装启动步骤

数据库

服务器	IP
mysql	172.31.26.13

安装Mysql

离线安装Mysql5.7.28及调优

初始化 MySQL 数据库

/******************************************/
/*   数据库全名 = nacos_config   */
/*   表名称 = config_info   */
/******************************************/
CREATE TABLE `config_info` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `data_id` varchar(255) NOT NULL COMMENT 'data_id',
  `group_id` varchar(255) DEFAULT NULL,
  `content` longtext NOT NULL COMMENT 'content',
  `md5` varchar(32) DEFAULT NULL COMMENT 'md5',
  `gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
  `src_user` text COMMENT 'source user',
  `src_ip` varchar(20) DEFAULT NULL COMMENT 'source ip',
  `app_name` varchar(128) DEFAULT NULL,
  `tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
  `c_desc` varchar(256) DEFAULT NULL,
  `c_use` varchar(64) DEFAULT NULL,
  `effect` varchar(64) DEFAULT NULL,
  `type` varchar(64) DEFAULT NULL,
  `c_schema` text,
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_configinfo_datagrouptenant` (`data_id`,`group_id`,`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_info';

/******************************************/
/*   数据库全名 = nacos_config   */
/*   表名称 = config_info_aggr   */
/******************************************/
CREATE TABLE `config_info_aggr` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `data_id` varchar(255) NOT NULL COMMENT 'data_id',
  `group_id` varchar(255) NOT NULL COMMENT 'group_id',
  `datum_id` varchar(255) NOT NULL COMMENT 'datum_id',
  `content` longtext NOT NULL COMMENT '内容',
  `gmt_modified` datetime NOT NULL COMMENT '修改时间',
  `app_name` varchar(128) DEFAULT NULL,
  `tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_configinfoaggr_datagrouptenantdatum` (`data_id`,`group_id`,`tenant_id`,`datum_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='增加租户字段';


/******************************************/
/*   数据库全名 = nacos_config   */
/*   表名称 = config_info_beta   */
/******************************************/
CREATE TABLE `config_info_beta` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `data_id` varchar(255) NOT NULL COMMENT 'data_id',
  `group_id` varchar(128) NOT NULL COMMENT 'group_id',
  `app_name` varchar(128) DEFAULT NULL COMMENT 'app_name',
  `content` longtext NOT NULL COMMENT 'content',
  `beta_ips` varchar(1024) DEFAULT NULL COMMENT 'betaIps',
  `md5` varchar(32) DEFAULT NULL COMMENT 'md5',
  `gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
  `src_user` text COMMENT 'source user',
  `src_ip` varchar(20) DEFAULT NULL COMMENT 'source ip',
  `tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_configinfobeta_datagrouptenant` (`data_id`,`group_id`,`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_info_beta';

/******************************************/
/*   数据库全名 = nacos_config   */
/*   表名称 = config_info_tag   */
/******************************************/
CREATE TABLE `config_info_tag` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `data_id` varchar(255) NOT NULL COMMENT 'data_id',
  `group_id` varchar(128) NOT NULL COMMENT 'group_id',
  `tenant_id` varchar(128) DEFAULT '' COMMENT 'tenant_id',
  `tag_id` varchar(128) NOT NULL COMMENT 'tag_id',
  `app_name` varchar(128) DEFAULT NULL COMMENT 'app_name',
  `content` longtext NOT NULL COMMENT 'content',
  `md5` varchar(32) DEFAULT NULL COMMENT 'md5',
  `gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
  `src_user` text COMMENT 'source user',
  `src_ip` varchar(20) DEFAULT NULL COMMENT 'source ip',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_configinfotag_datagrouptenanttag` (`data_id`,`group_id`,`tenant_id`,`tag_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_info_tag';

/******************************************/
/*   数据库全名 = nacos_config   */
/*   表名称 = config_tags_relation   */
/******************************************/
CREATE TABLE `config_tags_relation` (
  `id` bigint(20) NOT NULL COMMENT 'id',
  `tag_name` varchar(128) NOT NULL COMMENT 'tag_name',
  `tag_type` varchar(64) DEFAULT NULL COMMENT 'tag_type',
  `data_id` varchar(255) NOT NULL COMMENT 'data_id',
  `group_id` varchar(128) NOT NULL COMMENT 'group_id',
  `tenant_id` varchar(128) DEFAULT '' COMMENT 'tenant_id',
  `nid` bigint(20) NOT NULL AUTO_INCREMENT,
  PRIMARY KEY (`nid`),
  UNIQUE KEY `uk_configtagrelation_configidtag` (`id`,`tag_name`,`tag_type`),
  KEY `idx_tenant_id` (`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_tag_relation';

/******************************************/
/*   数据库全名 = nacos_config   */
/*   表名称 = group_capacity   */
/******************************************/
CREATE TABLE `group_capacity` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键ID',
  `group_id` varchar(128) NOT NULL DEFAULT '' COMMENT 'Group ID，空字符表示整个集群',
  `quota` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '配额，0表示使用默认值',
  `usage` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '使用量',
  `max_size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '单个配置大小上限，单位为字节，0表示使用默认值',
  `max_aggr_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '聚合子配置最大个数，，0表示使用默认值',
  `max_aggr_size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '单个聚合数据的子配置大小上限，单位为字节，0表示使用默认值',
  `max_history_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '最大变更历史数量',
  `gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_group_id` (`group_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='集群、各Group容量信息表';

/******************************************/
/*   数据库全名 = nacos_config   */
/*   表名称 = his_config_info   */
/******************************************/
CREATE TABLE `his_config_info` (
  `id` bigint(64) unsigned NOT NULL,
  `nid` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
  `data_id` varchar(255) NOT NULL,
  `group_id` varchar(128) NOT NULL,
  `app_name` varchar(128) DEFAULT NULL COMMENT 'app_name',
  `content` longtext NOT NULL,
  `md5` varchar(32) DEFAULT NULL,
  `gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `src_user` text,
  `src_ip` varchar(20) DEFAULT NULL,
  `op_type` char(10) DEFAULT NULL,
  `tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
  PRIMARY KEY (`nid`),
  KEY `idx_gmt_create` (`gmt_create`),
  KEY `idx_gmt_modified` (`gmt_modified`),
  KEY `idx_did` (`data_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='多租户改造';


/******************************************/
/*   数据库全名 = nacos_config   */
/*   表名称 = tenant_capacity   */
/******************************************/
CREATE TABLE `tenant_capacity` (
  `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键ID',
  `tenant_id` varchar(128) NOT NULL DEFAULT '' COMMENT 'Tenant ID',
  `quota` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '配额，0表示使用默认值',
  `usage` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '使用量',
  `max_size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '单个配置大小上限，单位为字节，0表示使用默认值',
  `max_aggr_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '聚合子配置最大个数',
  `max_aggr_size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '单个聚合数据的子配置大小上限，单位为字节，0表示使用默认值',
  `max_history_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '最大变更历史数量',
  `gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_tenant_id` (`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='租户容量信息表';


CREATE TABLE `tenant_info` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
  `kp` varchar(128) NOT NULL COMMENT 'kp',
  `tenant_id` varchar(128) default '' COMMENT 'tenant_id',
  `tenant_name` varchar(128) default '' COMMENT 'tenant_name',
  `tenant_desc` varchar(256) DEFAULT NULL COMMENT 'tenant_desc',
  `create_source` varchar(32) DEFAULT NULL COMMENT 'create_source',
  `gmt_create` bigint(20) NOT NULL COMMENT '创建时间',
  `gmt_modified` bigint(20) NOT NULL COMMENT '修改时间',
  PRIMARY KEY (`id`),
  UNIQUE KEY `uk_tenant_info_kptenantid` (`kp`,`tenant_id`),
  KEY `idx_tenant_id` (`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='tenant_info';

CREATE TABLE `users` (
	`username` varchar(50) NOT NULL PRIMARY KEY,
	`password` varchar(500) NOT NULL,
	`enabled` boolean NOT NULL
);

CREATE TABLE `roles` (
	`username` varchar(50) NOT NULL,
	`role` varchar(50) NOT NULL,
	UNIQUE INDEX `idx_user_role` (`username` ASC, `role` ASC) USING BTREE
);

CREATE TABLE `permissions` (
    `role` varchar(50) NOT NULL,
    `resource` varchar(512) NOT NULL,
    `action` varchar(8) NOT NULL,
    UNIQUE INDEX `uk_role_permission` (`role`,`resource`,`action`) USING BTREE
);

INSERT INTO users (username, password, enabled) VALUES ('nacos', '$2a$10$EuWPZHzz32dJN7jexM34MOeYirDdFAZm2kuWj7VEOJhhZkDrxfvUu', TRUE);

INSERT INTO roles (username, role) VALUES ('nacos', 'ROLE_ADMIN');

nacos集群

服务器	IP
nacos-01	172.31.26.14
nacos-02	172.31.26.15
nacos-03	172.31.26.16

以下是每台节点都需要执行的操作

安装java

yum install -y java-1.8.0-openjdk
yum install -y java-devel

安装maven

cd /opt
wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz
tar -zxvf apache-maven-3.6.3-bin.tar.gz
mv apache-maven-3.6.3 maven

配置环境变量
vi /etc/profile 
export M2_HOME=/opt/maven                       
export PATH=$PATH:$JAVA_HOME/bin:$M2_HOME/bin
修改完后source /etc/profile

[root@localhost ~]# mvn -v
Apache Maven 3.6.3 (cecedd343002696d0abb50b32b541b8a6ba2883f)
Maven home: /opt/maven
Java version: 1.8.0_252, vendor: Oracle Corporation, runtime: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.el7_8.x86_64/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "5.3.11-1.el7.elrepo.x86_64", arch: "amd64", family: "unix"

安装nacos

wget https://github.com/alibaba/nacos/releases/download/1.1.3/nacos-server-1.1.3.tar.gz
tar -zxvf nacos-server-1.1.3.tar.gz

cluster.conf 配置

vim /opt/nacos/conf/cluster.conf

#添加集群信息
# ip:port
172.31.26.14:8848
172.31.26.15:8848
172.31.26.16:8848

application.properties 配置

vim /opt/nacos/conf/application.properties

#添加数据库连接信息
db.num=1    
db.url.0=jdbc:mysql://172.31.26.13:3306/nacos_config?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true
db.user=admin   
db.password=123456   

启动集群

进入每台nacos节点，启动

[root@localhost ~]# cd /opt/nacos/bin
[root@localhost bin]# sh startup.sh 
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.el7_8.x86_64/bin/java  -server -Xms2g -Xmx2g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m -XX:-OmitStackTraceInFastThrow -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/opt/nacos/logs/java_heapdump.hprof -XX:-UseLargePages -Djava.ext.dirs=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.el7_8.x86_64/jre/lib/ext:/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.el7_8.x86_64/lib/ext:/opt/nacos/plugins/cmdb:/opt/nacos/plugins/mysql -Xloggc:/opt/nacos/logs/nacos_gc.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=100M -Dnacos.home=/opt/nacos -Dloader.path=/opt/nacos/plugins/health -jar /opt/nacos/target/nacos-server.jar  --spring.config.location=classpath:/,classpath:/config/,file:./,file:./config/,file:/opt/nacos/conf/ --logging.config=/opt/nacos/conf/nacos-logback.xml --server.max-http-header-size=524288
nacos is starting with cluster
nacos is starting，you can check the /opt/nacos/logs/start.out

nginx+keepalived

服务器	IP
nginx+keepalived(主)	172.31.26.11
nginx+keepalived(备)	172.31.26.12

以下是每台节点都需要执行的操作

安装nginx

yum install epel-release -y
yum install nginx httpd-tools -y

配置nginx

vim /etc/nginx/nginx.conf 添加下面的配置到http{}中

    upstream nacos {
        #server nacos地址:端口号 
        #weight表示权重   默认情况下为1。
        #max_fails 设置在fail_timeout 参数设置的持续时间内应与服务器通信失败的尝试次数，以认为服务器在fail_timeout参数设置的持续时间内不可用 。
        #fail_timeout 在指定次数的不成功尝试与服务器通信的时间内应该碰巧认为服务器不可用
        server 172.31.26.14:8848 weight=4 max_fails=2 fail_timeout=30s;   
        server 172.31.26.15:8848 weight=4 max_fails=2 fail_timeout=30s;
        server 172.31.26.16:8848 weight=4 max_fails=2 fail_timeout=30s;
    }

    server {
     listen       80;
     server_name  nacoscluster.com;


    location / {
         proxy_pass http://nacos/ ;
        }
    }

启动/关闭nginx

nginx    启动
nginx -s stop   关闭
nginx -s reload 重启

安装keepalived

yum install -y keepalived

配置keepalived

vim /etc/keepalived/keepalived.conf

主节点的配置文件

global_defs {
   router_id nginx_master    # 设置nginx master的id，在一个网络应该是唯一的
   script_user root
   enable_script_security
}

#VRRP脚本定义
vrrp_script chk_nginx
{
    script "/etc/keepalived/check_nginx.sh"
    interval 2
    weight -2   #若脚本返回为1 则减这台机器keepalived的实时权重
}

vrrp_instance VI_1 {
    state MASTER            # 指定keepalived的角色，MASTER为主，BACKUP为备
    interface ens192          # 当前进行vrrp通讯的网络接口卡(当前centos的网卡)
    virtual_router_id 51    # 虚拟路由编号，主从要一致
    priority 100         # 权重，数值越大，获取处理请求的优先级越高
    unicast_src_ip  172.31.26.51   #本机ip
    unicast_peer {
        172.31.26.52      #对端ip
    }
    advert_int 1            # 检查间隔，默认为1s(vrrp组播周期秒数)
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
         chk_nginx
    }

    virtual_ipaddress {
       172.31.26.200
    }
}

备用节点的配置文件

global_defs {
   router_id nginx_backup
   script_user root
   enable_script_security
}

#VRRP脚本定义
vrrp_script chk_nginx
{
    script "/etc/keepalived/check_nginx.sh"
    interval 2
    weight -2    
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens192
    virtual_router_id 51
    priority 99    #权重要比主节点低
    unicast_src_ip  172.31.26.52   #本机ip
    unicast_peer {
        172.31.26.51      #对端ip
    }
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
         chk_nginx
    }
    virtual_ipaddress {
        172.31.26.200
    }
}

写nginx监控检查脚本，放到/etc/keepalived目录下

cd /etc/keepalived
vim check_nginx.sh
#!/bin/bash
A=`ps -C nginx --no-header |wc -l`  #检查nginx进程是否存在
if [ $A -eq 0 ];then
    /usr/sbin/nginx                #重启nginx
    echo "1"
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then    #nginx重启失败
        exit 1
    else
        exit 0
    fi
else
    exit 0
fi

写完后记得加可执行的权限,脚本监控nginx进程，如果不存在则重启，如果重启失败则返回1,keepalived配置文件通过返回值为1可以实时减2点keepalived的权重，若主机的实时权重低于备用机，则触发VIP切换，由备用机代理VIP。

chmod +x check_nginx.sh

验证脚本是否可行

sh  check_nginx.sh

nginx进程不存在则重启，验证成功

启动keepalived

systemctl start keepalived

主节点
[root@localhost nginx]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens192: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:50:56:99:10:75 brd ff:ff:ff:ff:ff:ff
    inet 172.31.26.51/24 brd 172.31.26.255 scope global noprefixroute ens192
       valid_lft forever preferred_lft forever
    inet 172.31.26.200/32 scope global ens192
       valid_lft forever preferred_lft forever
       
备用节点
[root@localhost nginx]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens192: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:50:56:99:84:51 brd ff:ff:ff:ff:ff:ff
    inet 172.31.26.52/24 brd 172.31.26.255 scope global noprefixroute ens192
       valid_lft forever preferred_lft forever

主节点会生成虚拟ip172.31.26.200 而备用节点不会生成172.31.26.200

域名映射

将nacoscluster.com映射到172.31.26.200上

将nacoscluster.com的请求都转发到下面的3台服务器上，

验证

访问页面

访问页面 www.nacoscluster.com/nacos 可以正常打开页面说明高可用集群配置完成

接下来开始验证这个集群是否真的高可用

程序循环读取nacos中的配置文件

读取操作由我和lilu.org.cn的博主及xiongyj.cn的博主合作一起将这个实验做完，在此感谢他们。

关闭主机nginx

注意，为了方便测试keepalived的实时权重增减，在这里先修改脚本
check_nginx.sh，注释这一行，否则nginx重启看不到VIP漂移的效果。

/usr/sbin/nginx                #重启nginx

主机执行关闭nginx

[root@localhost keepalived]# nginx -s stop

主机

备用机

由图可以看出，主机nginx挂掉后，权重由100-2=98 低于备用机的99 VIP切换。

程序循环读取数据成功

关闭主机keepalived

主机执行

[root@localhost keepalived]# systemctl stop keepalived

主机

备用机

由图可以看出，主机keepailived关闭服务后，VIP直接切换到备用机

程序循环读取数据成功

关闭nacos

[root@localhost bin]# sh shutdown.sh
The nacosServer(36354) is running...
Send shutdown request to nacosServer(36354) OK

访问www.nacoscluster.com/nacos仍然可以打开，说明nginx反向代理没问题

程序循环读取数据成功

结束

至此，keepalived+nginx+nacos+mysql高可用集群搭建完成，实战中还是查询了许多文档，不懂就问度娘，踩过好多坑，还有意外的收获（详情见总结）。

补充几点此集群搭建的不足之处，如果觉得建议好可以按照我的思路做下去：

• mysql若是放在生产环境建议主备集群搭建，本篇图简单没有这么做
• nignx的轮询算法本篇用的加权轮询，实际上根据nacos的服务器性能差异可以采用其他的负载均衡调度算法，本篇nacos服务器配置均等，所以加权无所谓。

报错总结

keepalived主从切换失败

如果两节点的上联交换机禁用了组播，则只能采用vrrp单播通告的方式。需要在vrrp_instance VI_1 {}中添加

主节点
unicast_src_ip  172.31.26.51   #本机ip
unicast_peer {
    172.31.26.52      #对端ip
}

备用节点
unicast_src_ip  172.31.26.52   #本机ip
unicast_peer {
    172.31.26.51      #对端ip
}

keepalived从主节点切换成备用节点后，vip已经生成到备用节点上，但是却不能访问

跟踪iptables规则发现，默认的iptables规则仅允许22端口和icmp报文通过，需要删除规则

[root@localhost keepalived ~]# iptables -F #删除所有iptables规则
[root@localhost keepalived ~]# iptables -X #删除除默认链之外的所有iptables链

关闭Linux防火墙Selinux和firewalld

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i “s/SELINUX=enforcing/SELINUX=disabled/g” /etc/selinux/config

nacos

1.中途出现nacos用域名连接失败的情况

spring:
  application:
    name: lilu
  profiles:
    active: dev
  cloud:
    nacos:
      config:
        server-addr: nacoscluster.com

查询资料才知道地址必须为nacoscluster.com+端口
也就是 nacoscluster.com:80

2.我将后台nacos全部断掉连接后，他们的程序调用nacos仍然有返回值，经Debug后发现请求超时，但是还是能传回来值，而且这个值一直不更新。我们几个百思不得其解，关了ide、关了服务器都不行，一个连接不上nacos的程序居然能有返回，经xiongyj.cn的博主查看源代码发现，nacos有备份策略。

由于我不是学java的，具体源码就不展开说了，大概意思就是nacos每读取一次配置后就保留到本地，当程序还是通过相同的nacos地址去读取配置的时候，即使连接不上，但是不会报连接失败的错误，而是会从本地去读最后一次连接时的配置文件。

这样一来，如果你只把nacos当配置中心，即使nacos集群都挂掉了，也不会影响服务，当然，如果你把nacos当注册中心的话那还是会有影响。

壮哉我大阿里，nacos这个中间件设计的真心高可用，考虑太周全了。

参考资料

nacos官网

keepalived主备节点都配置vip，vip切换异常案例分析

Keepalived两节点出现双VIP的情况

---

版权声明：

原创不易，洗文可耻。除非注明，本博文章均为原创，转载请以链接形式标明本文地址。