Kubernetes多master节点部署反向代理服务器

Kubernetes多master节点部署反向代理服务器

如图所示，在之前的多master节点的基础上搭建一个由nginx做反向代理和负载均衡的调度器。nginx的虚拟IP为：192.168.80130/24.两个proxy代理节点IP地址为：192.168.80.136/24和192.168.80.137/24.

搭建nginx服务

这里的nginx我是用的手动编译安装nginx，所以nginx这里不再过多的赘述如何安装nginx。

搭建keepalived服务

这里我是用yum安装的方法在两个proxy节点安装keepalived。

yum install keepalived -y

修改keepalived的配置文件

! Configuration File for keepalived

#keepalived的全局配置
global_defs {

#邮件模块，报警邮件地址
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }

   notification_email_from Alexandre.Cassen@firewall.loc
#报警的邮箱服务器
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
#同一局域网内的统一标识
   router_id_01
   vrrp_skip_check_adv_addr
  ###################################
   #这里需要注释，如果不加注释是无法ping通VIP
  # vrrp_strict
  ###################################
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

#检测 nginx 状态的脚本路径
vrrp_script chk_nginx {
    script "/opt/chk_nginx.sh"

## 检测时间间隔
    interval 2
 ## 如果条件成立，权重-20
    weight -20
}

#定义实例，定义主备节点、端口
vrrp_instance VI_1 {
    state MASTER
    interface ens192
    virtual_router_id 10
    priority 100
# 主备心跳通讯时间间隔，组播信息发送间隔，两个节点设置必须一样， 默认 1s
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }

## 执行 Nginx 监控的服务
track_script {
        chk_nginx
    }
#配置的虚拟IP地址
    virtual_ipaddress {
        192.168.80.130/24
    }
}

另一个proxy节点上只需要修改其中一部分内容。

#状态改为备用
state BACKUP
#修改优先级
priority 99

keepalived的配置文件中定义了监控nginx的脚本，需要在相应的目录下编写监控nginx的脚本。大致的意思是：如果查不到nginx的进程号那么解停止keepalived服务，VIP漂移到其他节点。

vim /opt/chk_nginx.sh
#!/bin/bash
count=$(ps -ef |grep nginx |egrep -cv "grep|$$")

if [ "$count" -eq 0 ];then
    /etc/init.d/keepalived stop
fi

在启动keepalived之前需要先开启nginx服务。之后再做VIP地址漂移测试。

#开启nginx
systemctl start nginx
#开启keepalived
systemctl start keepalived

VIP生效之后，停止proxy01节点的nginx服务查看VIP是否漂移到proxy02节点。

下面开始配置nginx的配置文件，需要注意的是如果在编译安装nginx的时候没有安装stream模块，需要再次添加stream模块编译安装一次。

worker_processes  1;
events {
    worker_connections  1024;
}
##################  添加如下内容 ########################################
stream {
#定义日志的格式和日志文件的路径
   log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
    access_log  /var/log/nginx/k8s-access.log  main;

#master01的IP地址和master02的IP地址
    upstream k8s-apiserver {
        server 192.168.80.132:6443;
        server 192.168.80.133:6443;
    }
    server {
                listen 6443;
                proxy_pass k8s-apiserver;
    }
    }
#####################################################################
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;


#由于日志文件路径不存在需要手动创建
mkdir -p /var/log/nginx

重启nginx服务，并且访问VIP，可以浏览网页。

代理端其实已经完成了，这时就需要修改node节点中的配置文件，将apiserver的地址改为代理端的VIP。

#移动到/opt/kubernetes/cfg
cd /opt/kubernetes/cfg
vim bootstrap.kubeconfig 
vim kubelet.kubeconfig 
vim kube-proxy.kubeconfig 

将这三个配置文件中的serverip改为代理的VIP。

 server: https://192.168.80.130:6443

查看是否都改为VIP地址。

grep 130 *

接着重启kubelet、buke-proxy

systemctl restart kubelet.service
systemctl restart kube-proxy.service 

查看proxy代理端的日志文件，是否有node节点的请求到master节点。这里的日志文件格式是参照nginx配置文件所定义的日志文件格式。 log_format main ‘$remote_addr $upstrea{m}_{a}ddr-[$time_local] $status $upstream_bytes_sent’;来访IP地址-跳转上游服务器IP地址-日期状态码

[root@proxy_01 nginx]# tail k8s-access.log 
192.168.80.134 192.168.80.133:6443 - [02/May/2020:12:12:16 +0800] 200 1121
192.168.80.135 192.168.80.132:6443 - [02/May/2020:12:12:16 +0800] 200 1119
192.168.80.135 192.168.80.132:6443 - [02/May/2020:12:12:16 +0800] 200 1120
192.168.80.135 192.168.80.133:6443 - [02/May/2020:12:12:16 +0800] 200 1120
192.168.80.135 192.168.80.132:6443 - [02/May/2020:12:12:17 +0800] 200 1566
192.168.80.134 192.168.80.133:6443 - [02/May/2020:12:12:26 +0800] 200 1566

到这步其实已经完成了代理的搭建，我们可以创建一个nginx的pod。

kubectl run nginx --image=nginx

之后我们用命令查看pod的状态

[root@master_01 cfg]# kubectl get pods
NAME                    READY   STATUS    RESTARTS   AGE
nginx-dbddb74b8-wl7qx   1/1     Running   0          10m

详细的pod信息我们用可以查看到具体的IP地址：

[root@master_01 cfg]# kubectl get pods -o wide
NAME                    READY   STATUS    RESTARTS   AGE   IP            NODE             NOMINATED NODE
nginx-dbddb74b8-wl7qx   1/1     Running   0          27m   172.17.59.2   192.168.80.134   <none>

这时我们在node节点访问pod的IP地址：172.17.59.2
在node节点中打开浏览器，输入pod的IP地址。

我们也可以用curl命令：

要想查看pod中的nginx的日志文件需要创建一个匿名用户的，可以有权限查看pod内部的日志。

kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous
clusterrolebinding.rbac.authorization.k8s.io/cluster-system-anonymous created

创建用户需要在etcd中添加的所以在任意master节点中添加都没有关系。最后查看日志。

这样Kubernetes的代理就搭建完毕了。