[nacos]nacos2.x+nginx集群搭建以及过程中遇到的坑

参考文档

nacos官方集群部署说明
centos7安装并配置jdk
nacos2.x集群实现
centos7安装mysql8
使用nginx反代nacos报错 badrequest 400

环境准备

• vmware虚拟机上跑的centos7 (原本内存2g 坑点之一!2g内存无法启动三台nacos集群,官方说明需要4g)
• centos7安装并配置jdk8
  • 安装教程参考 centos7卸载自带jdk并安装新的jdk - 腾讯云开发者社区-腾讯云
• centos7手动编译安装nginx (笔者使用的版本是1.20.2)
  • nginx: download
  • 安装教程参考 CentOS 7 安装 Nginx - 掘金
• centos7安装mysql (笔者使用的版本是8.0.30)

MySQL数据持久化

为什么需要MySQL

nacos单机模式时使用的数据库是内嵌的derby数据库,但是集群时需要做数据同步,nacos官方使用MySQL作为数据同步中心

安装MySQL

• centos7默认yum源不包含MySQL而是mariadb,所以通过rpm安装MySQL
• 参考博客 CentOS 7安装MySQL8.0 - 简书

执行nacos_config.sql脚本创建数据库

• 脚本下载 nacos/mysql-schema.sql at develop · alibaba/nacos · GitHub
• 创建nacos_config库并执行脚本即可

  ​

• 笔者参考其他教程时发现nacos官方github对此文件做过rename,不排除之后也会有rename的可能,请自行到nacos github查看最新版本

nacos使用

安装nacos

参考 Nacos最新2.x集群安装 - 简书

1. nacos官网下载最新版本 https://github.com/alibaba/nacos/releases (使用的版本是nacos-server-2.1.1)
2. 分别解压三次到喜欢的路径做三台集群，nacos官网说明建议三台或三台以上nacos做集群

   ​

   
   路径结构如下

配置nacos

以 nacos-8848为例, nacos-8838, nacos-8858修改对应的端口号即可

修改conf/application.properties

1. 解开数据库相关的注释,并修改实际的数据库名称与用户,如下
2. 修改端口号为8848

server.port=8848

1. 在nacos-8838和nacos-8858重复以上操作

修改conf/cluster.conf

1. 复制cluster.conf.example并改名为cluster.conf

mv cluster.conf.example cluster.conf

1. 将三台nacos集群ip:port写入

#2022-10-10T09:59:01.124
192.168.4.52:8838
192.168.4.52:8848
192.168.4.52:8858

nginx配置反向代理与负载均衡

配置反向代理和负载均衡

http {
    sendfile on;
    keepalive_timeout 65;
    upstream nginx_cluster {
        server 192.168.4.52:8838;
        server 192.168.4.52:8848;
        server 192.168.4.52:8858;
    }

    server {
        listen 8888;
        server_name vm52.com;
        
        location / {
            proxy_pass http://nginx_cluster;
            proxy_set_header Host $http_host;
        }
    }
}

1. 需要修改server_name为自己实际情况
2. 8888端口号可按实际情况自行选择
3. 坑点:

• 添加proxy_set_header Host $http_host;是为了解决无法通过vm52.com:8888/nacos访问时出现400 bad request的问题

配置grpc

官方说明: Nacos2.0版本相比1.X新增了gRPC的通信方式，因此需要增加2个端口。新增端口是在配置的主端口(server.port)基础上，进行一定偏移量自动生成。

​

配置

stream {
    upstream nacos-server-grpc {
        server 192.168.4.52:9838;
        server 192.168.4.52:9848;
        server 192.168.4.52:9858;
    }
    server {
        listen 9888;
        proxy_pass nacos-server-grpc;
    }
}

1. 其中9838 9848 9858端口是grpc请求服务端端口,由nacos端口号+1000得出, 9888是由8888端口+1000得出
2. 坑点:

• cluster的端口规则

# 端口规则
server.port(默认8848）
raft port: ${server.port} - 1000
grpc port: ${server.port} + 1000
grpc port for server: ${server.port} + 1001

可以看到grpc用于服务间同步的端口需要+1001,这就导致在虚拟机跑三台nacos时,三台nacos的端口是不能连续的,否则会出现端口冲突问题

编写shell脚本启动和停止nacos

startupall.sh

#!/bin/bash
echo "starting nacos 8847"
/usr/local/nacos/nacos-8838/bin/startup.sh
echo "starting nacos 8848"
/usr/local/nacos/nacos-8848/bin/startup.sh
echo "starting nacos 8849"
/usr/local/nacos/nacos-8858/bin/startup.sh

shutdown.sh

!/bin/bash
echo "starting nacos 8847"
/usr/local/nacos/nacos-8838/bin/shutdown.sh
echo "starting nacos 8848"
/usr/local/nacos/nacos-8848/bin/shutdown.sh
echo "starting nacos 8849"
/usr/local/nacos/nacos-8858/bin/shutdown.sh

最后

执行nacos启动脚本

./startupall.sh

​

启动nginx

./nginx -c /usr/local/nginx/conf/nginx.conf

通过8888访问nacos

​