企业级双活NGINX+图形化GUI管理搭建详细教程 nginx+keepalived+nginxwebui

炻繛

已于 2024-04-07 09:37:09 修改

阅读量2.6k

点赞数 45

分类专栏： nginx+keepalived+nginxwebui 文章标签： nginx 运维负载均衡 ui 代理模式

于 2024-04-03 17:17:22 首次发布

本文链接：https://blog.csdn.net/weixin_45339969/article/details/137338582

版权

nginx+keepalived+nginxwebui 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

文章目录

概要

在目前互联网发展形势下，有非常多的业务需求要从互联网或者VPN之类的非安全区域来访问企业内部的业务生产系统。这给网络框架和网络安全提出了很大的挑战。这种需求相信每一位运维人员都遇到过，而且也深思过。
在这种需求下，怎么去构建一种生产环境下的安全有效的访问途径。本人作为有某三甲医院多年运维经验的工作人员，分享自己的一整套改造经验之谈。有需求的同学们可以借鉴，有高工看见了，也提提建议。

背景

先交代下背景：目前医院信息化作为互联网信息化的一部分，总感觉太保守，一来也是发展迟，发展快，二来是思想不够解放。导致现在信息孤岛严重，发展受限。
在这里插入图片描述
相信这张图是医院互联网应用下的普遍网络构架吧。对于网闸这种东西，我是深恶痛绝，太死板，业务限制太大。谁用谁知道

我的思路是这样的，所有非安全域的访问（互联网、VPN）只能访问应用代理服务器（可搭配），而应用代理服务器通过四层、七层代理方式访问真正的内网服务器（涵盖99%的业务访问流程）。优势是代理配置更灵活、业务应用拓展更灵活。

应用代理架构

nginx+keepalived+nginxwebui 这三款软件可以自行百度下，都是主流稳定产品，具体不介绍了，都是神一样的存在。而且不用花钱的。。。

nginx：反向代理四层、七层应用。
keepalived：对nginx做双活避免宕机。
nginxwebui：图形界面管理nginx（更方便、更安全）。

整体架构拓扑

在这里插入图片描述
准备工作：
1、准备两台交换机，最好做个堆叠。
2、准备两台物理服务器（看你预算，生产环境中不建议单台）。安装centos或者openEuler操作系统，，，看你情况。
3、两台物理服务器网卡可以做个bond0做个。

思路
1、基础环境配置
2、编译安装nginx
3、安装nginx图形管理页面nginxwebui
4、配置双活keepalived
5、测试方法
6、升级须知

安装开始

1、基础环境配置（两个节点配置相同）
① selinux关闭，yum阿里云网络源配置。
② 操作系统防火墙配置：

[root@localhost ~]#firewall-cmd --zone=public --add-port=80/tcp --permanent
[root@localhost ~]#firewall-cmd --zone=public --add-port=443/tcp --permanent
[root@localhost ~]#firewall-cmd --zone=public --add-port=10240/tcp --permanent
[root@localhost ~]#firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
[root@localhost ~]#firewall-cmd --direct --permanent --add-rule ipv4 filter OUTPUT 0 --destination 224.0.0.18 --protocol vrrp -j ACCEPT
[root@localhost ~]#firewall-cmd --reload

其中80、443端口是常用业务端口，10240是nginxwebui管理页面端口。后两条是因为keepalived使用vrrp协议实现主主，必须得放开。最后重新加载防火墙。。。。
提示：如果你有硬件防火墙，操作系统的防火墙也可以直接关闭。如下：

[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#systemctl disable firewalld

③yum安装列表：keepalived java-1.8.0-openjdk net-tools curl wget gcc gcc-c++ autoconf automake make openssl openssl-devel pcre pcre-devel zlib-devel 其中包括了keepalived、nginxwebui的环境java包、还有nginx及编译的包等。
可以一次性安装，也可以单个安装，例如

[root@localhost ~]#yum install -y keepalived

2、编译安装nginx（两个节点配置相同）
提示：这里强烈建议编译安装nginx，对于后期nginx的升级、增加模块等有重要作用
①下载nginx（最好选个最新的稳定版本，我这里以“1.22.1”做演示）
http://nginx.org/download

[root@localhost ~]#mkdir /usr/local/nginx    #创建一个nginx安装目录
[root@localhost ~]#cp nginx-1.22.1.tar.gz /usr/local/nginx/  #将下载的tar包拷贝进去
[root@localhost ~]#cd /usr/local/nginx/
[root@localhost ~]#tar zxvf nginx-1.22.1.tar.gz   #解压tar包
[root@localhost ~]#cd nginx-1.22.1
[root@localhost ~]#./configure  --prefix=/usr/local/nginx --with-http_ssl_module  --with-http_stub_status_module --with-http_realip_module --with-http_secure_link_module --with-http_ssl_module --with-http_sub_module --with-http_v2_module --with-stream --with-stream_realip_module --with-stream_ssl_module --with-stream_ssl_preread_module     #先configure  后面跟着安装路径 --with-是需要的模块。。。。基础的模块都带上了，基本够用。
[root@localhost ~]#make & make install   #编译及安装
------------------这就算装完了，可以在浏览器中输入http://IP 就能验证了。--------------
[root@localhost ~]#cd /usr/local/nginx/sbin/   #进入nginx安装目录
[root@localhost ~]#./nginx     #启动nginx
[root@localhost ~]#./nginx -V   #查看版本及模块及安装情况
-----------------下边为了便捷操作，将nginx服务安装到系统服务中去-----------------------
[root@localhost ~]#echo "export PATH=/usr/local/nginx/sbin:$PATH" > /etc/profile.d/nginx.sh  #增加环境变量，随处可使用nginx命令
[root@localhost ~]#source /etc/profile   #加载环境变量，使之生效
[root@localhost ~]#vi /etc/init.d/nginx   #这个nginx内容如下黑框，直接copy进去，不用改什么
[root@localhost ~]#chmod a+x /etc/init.d/nginx

↓↓↓↓↓↓↓↓↓↓↓↓↓下面的脚本就是上面nginx中的内容。为了展示方便，单独列举↓↓↓↓↓↓↓↓↓

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  NGINX is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /usr/local/nginx/logs/nginx.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0

nginx="/usr/local/nginx/sbin/nginx"
prog=$(basename $nginx)

NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"

[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx

lockfile=/var/lock/subsys/nginx

make_dirs() {
   # make required directories
   user=`$nginx -V 2>&1 | grep "configure arguments:.*--user=" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   if [ -n "$user" ]; then
      if [ -z "`grep $user /etc/passwd`" ]; then
         useradd -M -s /bin/nologin $user
      fi
      options=`$nginx -V 2>&1 | grep 'configure arguments:'`
      for opt in $options; do
          if [ `echo $opt | grep '.*-temp-path'` ]; then
              value=`echo $opt | cut -d "=" -f 2`
              if [ ! -d "$value" ]; then
                  # echo "creating" $value
                  mkdir -p $value && chown -R $user $value
              fi
          fi
       done
    fi
}

start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}

stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}

restart() {
    configtest || return $?
    stop
    sleep 1
    start
}

reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $prog -HUP
    retval=$?
    echo
}

force_reload() {
    restart
}

configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}

rh_status() {
    status $prog
}

rh_status_q() {
    rh_status >/dev/null 2>&1
}

case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

提示：nginx的安装就算正式结束了
测试内容：
systemctl start nginx.service 启动nginx
systemctl stop nginx.service 关闭nginx
systemctl status nginx.service 查看nginx状态

浏览器中输入http://IP 看能否打开。

3、安装nginx图形管理页面nginxwebui（两个节点配置相同）
本项目可以使用WebUI配置nginx的各项功能, 包括http协议转发, tcp协议转发, 反向代理, 负载均衡, ssl证书自动申请、续签、配置等, 最终生成nginx.conf文件并覆盖nginx的默认配置文件, 完成nginx的最终功能配置。

下载地址：https://www.nginxwebui.cn/ 并上传至服务器
基本功能可以在官网上查下，，，我觉得这是目前最好用的nginx配置工具。

nginxWebUI的环境依赖包是java-1.8.0-openjdk、net-tools是运行需要的组件，，，都已经安装了。

#mkdir /nginxWebUI   #创建nginxwebui安装目录，安装很简单。我这里下载的是3.4.6版本
#cp nginxWebUI-3.4.6.jar /nginxWebUI/nginxWebUI.jar    #复制并改名jar包
#cd /nginxWebUI
#vi start-service.sh  #用于快捷启动nginxwebui
nohup java -jar -Dfile.encoding=UTF-8 /nginxWebUI/nginxWebUI.jar --server.port=10240 --project.home=/nginxWebUI/ > /dev/null &
#vi stop-service.sh   #用于快捷关闭nginxwebui
pkill java
#vi  /etc/rc.d/rc.local  #编辑启动项，将nginxwebui加入开机启动
su - root -c '/nginxWebUI/start-service.sh' 
#chmod a+x /etc/rc.d/rc.local   #增加rc.local执行权限

好了可以登录了http://IP:10240 至于使用方法，其实也不难，看看就会。
在这里插入图片描述
基本使用从左侧反向代理开始，以发布一个https网站为例：

①至③略
④—如果没有证书就填80。如果有证书，就填443。即使你的网站是http的也没有关系。必填
⑤—填写域名。选填
⑥—如果没有证书就选否。如果有证书，就选是，并完成第⑦项。
⑧—添加代理目标，指的是正式web服务器的访问url。
⑨—动态http、代理目标（如果不是80或443，就得填端口号）格式如：http://192.168.0.1:8080
⑩—提交
如上就是添加一个需要nginx反向七层代理的网站，你还可以摸索下添加一个代理四层的站点，涉及“负载均衡(upstream)”、“反向代理(server)”。。。。。
在这里插入图片描述
如上操作完之后还是不能通过VIP的ip去访问的，因为你只是对nginxWebUI这个工具做了预配置，还没有实际应用到nginx中去。
进入启用配置→目标配置文件（按上文的路径去填）→对比（向你提供更改内容的对比页面，检查用的）→校验文件（检查nignx配置语法等有无错误，如有就得改错，直到显示ok和successful）→替换文件（将正确的配置替换到nginx中去）→重新装载（相当于加载nginx配置使其生效。等同命令nginx -s reload。但不同于systemctl restart nginx哦）

这算是通过nginxWebUI完成了nginx的配置。你可以通过访问VIP的形式去访问反向代理的站点了。

4、配置双活keepalived（分别配置）
提示：本方案使用双活架构，keepalived正确安装及配置后，每台服务器除了一个本地ip外，还会生成一个虚拟IP地址简称VIP，这两个VIP承担外部访问的任务。使用中可以将不同业务分摊到这两个VIP上去，，，，我的做法是将四层“IP+端口”访问指向第一个VIP上去，将七层“http/https”访问指向第二个VIP上去，，，最终形成两个服务器分别承担一部分应用，达到一定程度的负载作用。在极端情况下，其中一台节点出现问题，它上面的VIP会漂移到正常运行的节点上去，达到nginx及业务可用，处理好故障节点后，VIP会自动回迁。

最开始安装环境时，keepalived已经安装，配置文件是/etc/keepalived/keepalived.conf 常用命令如下：
systemctl start keepalived.service #启动keepalived
systemctl stop keepalived.service #关闭keepalived
systemctl restart keepalived.service #重启keepalived

①首先添加个nginx检测脚本。用于keepalived检测nginx状态，如果nginx服务停了，会自动启动nginx，，如果nginx启动不了，就开始虚拟地址（VIP）漂移了，也就是常说的故障转移了。

#touch /etc/keepalived/check_nginx.sh         #创建nginx检测脚本文件，键入如下内容，

#!/bin/bash
run=`ps -C nginx --no-header | wc -l`
if [ $run -eq 0 ]
then
systemctl stop nginx.service
systemctl start nginx.service
sleep 3
if [ `ps -C nginx --no-header | wc -l` ]
then
systemctl stop keepalived.service
fi
fi

#chmod a+x /etc/keepalived/check_nginx.sh    #并更改文件的可执行权限

②配置keepalived
配置要素：state virtual_router_id auth_pass virtual_ipaddress track_script
根据最上面拓扑图中的IP，自行推理一下各个参数的用途，最简单的使用方法就是更改virtual_ipaddress中的IP地址就可以套用了。
node1配置如下：

! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
  # vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

 vrrp_script chk_nginx {
    script "/etc/keepalived/check_nginx.sh"
    interval 2
    weight 2
 }




vrrp_instance VI_1 {
    state MASTER
    interface ens192
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1024
    }
    virtual_ipaddress {
        172.16.100.111
    }
	track_script {
     	chk_nginx
    }
}


vrrp_instance VI_2 {
    state BACKUP
    interface ens192
    virtual_router_id 52
    priority 50
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 4201
    }
    virtual_ipaddress {
        172.16.100.112
    }
       track_script {
        chk_nginx
    }
}

node2配置如下：

! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
  # vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

 vrrp_script chk_nginx {
    script "/etc/keepalived/check_nginx.sh"
    interval 2
    weight 2
 }




vrrp_instance VI_1 {
    state BACKUP
    interface ens192
    virtual_router_id 51
    priority 50
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1024
    }
    virtual_ipaddress {
        172.16.100.111
    }
	track_script {
     	chk_nginx
    }
}


vrrp_instance VI_2 {
    state MASTER
    interface ens192
    virtual_router_id 52
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 4201
    }
    virtual_ipaddress {
        172.16.100.112
    }
       track_script {
        chk_nginx
    }
}

最后使用 systemctl start keepalived.service就可以启动了。

#systemctl start keepalived.service  #启动
#systemctl enable keepalived.service  #设置开机启动

做完以上部分，，，这个配置过程就算完了。

5、测试方法
如果这个搭建过程没有问题，就可以通过停止keepalived服务，去模拟节点故障。
举例：
停止节点1上的keepalived服务，那节点2上的IP地址就会有三个，172.16.100.102 172.16.100.112 172.16.100.111
恢复节点1上的keepalived服务，那节点2上的172.16.100.111就会回到节点1上。

更深层次的测试，可以自行再做做！

5、升级须知
一般需要升级的只有nginx 和 nginxwebui
nginx升级：
①、下载新编译版本nginx包nginx-1.99.99.tar.gz，解压至/usr/local/nginx/nginx-1.99.99并进入
②、./configure --prefix=/usr/local/nginx --XXXX （注意添加原有模块）
③、make 不要make install
④、mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx.old 备份nginx主文件并删除原nginx
⑤、cp /usr/local/nginx/nginx-1.99.99/objs/nginx /usr/local/nginx 将编译好的nginx移动到主目录
⑥、可用systemctl restart nginx.service重启加载新文件。或不用管也可以，nginx会自动完成平滑升级
nginxwebui升级：
①、关闭nginxWebUI主进程 pkill java 运行： ./nginxWebUI/stop-service.sh
②、下载新的nginxWebUI-3.99.99.jar 覆盖nginxWebUI.jar
③、启动nginxWebUI服务。 ./nginxWebUI/start-service.sh

技术细节

提示：nginxWebUI的使用自己琢磨，，，头快炸了，不说了
两台nginxWebUI中添加正向配置后，记得在“启用配置”菜单中-对比文件-校验文件-替换文件-重新装载，，最后在“远程服务器”中同步配置和批量运行，以保持两台nginx配置相同。要不然VIP漂移后有空配置

炻繛

关注

45
点赞
踩
40

收藏

觉得还不错? 一键收藏
1
评论
企业级双活NGINX+图形化GUI管理搭建详细教程 nginx+keepalived+nginxwebui

用于keepalived检测nginx状态，如果nginx服务停了，会自动启动nginx，，如果nginx启动不了，就开始虚拟地址（VIP）漂移了，也就是常说的故障转移了。有需求的同学们可以借鉴，有高工看见了，也提提建议。④、mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx.old 备份nginx主文件并删除原nginx。↓↓↓↓↓↓↓↓↓↓↓↓↓下面的脚本就是上面nginx中的内容。为了展示方便，单独列举↓↓↓↓↓↓↓↓↓。
复制链接

扫一扫