二进制部署k8s集群 部署高可用master节点

已于 2024-05-16 15:51:48 修改
阅读量1k 收藏 24
点赞数 25
文章标签： kubernetes docker
于 2024-05-16 13:36:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fhjtg/article/details/138908292
版权

目录

本次部署的环境

一、master02 节点部署

二、负载均衡部署

安装nginx服务

部署keepalive服务

修改node节点上的配置文件

在master节点上创建pod

三、部署 Dashboard

 二进制部署k8s集群部署的步骤总结

（1）k8s的数据存储中中心的搭建 etcd

（2）单机master节点的部署

（3）k8s的node节点的部署

（4）高可用k8s的搭建

        在上一篇文章中，就已经完成了二进制k8s集群部署的搭建，但是单机master并不适用于企业的实际运用（因为单机master中，仅仅只有一台master作为节点服务器的调度指挥，一旦宕机。就意味着整个集群的瘫痪，所以成熟的k8s的集群一定要考虑到master的高可用。）

        企业的运用一般至少存在两台master及其以上的部署（一般都是三台），本次将根据前面的部署，再添加一台master（三个master或者更多，也可以根据本次添加步骤重复添加）。添加master后，我们会将借助keepalived+nginx的架构，来实现高可用的master【也可以使用haproxy+keepalived或则是keepalived+lvs（不推荐，步骤过于复杂）】

除此之外，我们还将搭建出k8s的ui管理界面

本次部署的环境

mater节点
mater01192.168.80.7kube-apiserver kube-controller-manager kube-scheduler 
master02192.168.80.17kube-apiserver kube-controller-manager kube-scheduler 
node节点
node01192.168.80.11kubelet kube-proxy docker （容器引擎）
node02192.168.80.12kubelet kube-proxy docker （容器引擎）
etcd  cluster集群
etcd节点1192.168.80.7（mater01）etcd
etcd节点2192.168.80.11（node01）etcd
etcd节点3192.168.80.12（node02）etcd
load balance（高可用调度器）
主调度器192.168.80.13nginx，keepalived
从调度器192.168.80.16nginx，keepalived

架构说明：

        node节点的kubelet只能对接一个master节点的apiserver，不可能同时对接多个master节点的apiserver。简而言之，node节只能有一个master来领导。

        kubelet和kube-proxy是通过kubelet.kubeconfig和kube-proxy.kubeconfig文件中的server参数进行对接 master节点的。

        所以在多master节点的环境下，需要有nginx负载均衡器来进行调度，而且需要进行keepalived高可用的构建(主从两个节点) ，防止主节点宕机导致整个k8s集群的不可用。

一、master02 节点部署

从 master01 节点上拷贝证书文件、各master组件的配置文件和服务管理文件到 master02 节点

scp -r /opt/etcd/ root@192.168.80.17:/opt/
scp -r /opt/kubernetes/ root@192.168.80.17:/opt/
scp -r /root/.kube root@192.168.80.17:/root
scp -r /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager,kube-scheduler}.service root@192.168.80.17:/usr/lib/systemd/system/
修改master02配置文件kube-apiserver中的IP
vim /opt/kubernetes/cfg/kube-apiserver

KUBE_APISERVER_OPTS="--logtostderr=false  \
--v=2 \
--log-dir=/opt/kubernetes/logs \
--etcd-servers=https://192.168.80.7:2379,https://192.168.80.11:2379,https://192.168.80.12:2379 \
--bind-address=192.168.80.17 \
--secure-port=6443 \
--advertise-address=192.168.80.17 \
......

在 master02 节点上启动各服务并设置开机自启

systemctl enable --now kube-apiserver.service

systemctl enable --now kube-controller-manager.service

systemctl enable --now kube-scheduler.service

查看node节点状态

ln -s /opt/kubernetes/bin/* /usr/local/bin/
kubectl get nodes
kubectl get nodes -o wide

#-o=wide：输出额外信息；对于Pod，将输出Pod所在的Node名


//此时在master02节点查到的node节点状态仅是从etcd查询到的信息，而此时node节点实际上并未与master02节点建立通信连接，因此需要使用一个VIP把node节点与master节点都关联起来

二、负载均衡部署

安装nginx服务

//配置load balancer集群双机热备负载均衡（nginx实现负载均衡，keepalived实现双机热备）
##### 在lb01、lb02节点上操作 ##### 
//配置nginx的官方在线yum源，配置本地nginx的yum源 （注意 epel源下载的 nginx 不支持stream）
cat > /etc/yum.repos.d/nginx.repo << 'EOF'
[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/7/$basearch/
gpgcheck=0
EOF

yum install nginx -y

//修改nginx配置文件，配置四层反向代理负载均衡，指定k8s群集2台master的节点ip和6443端口
vim /etc/nginx/nginx.conf
events {
    worker_connections  1024;
}

#添加
stream {
    log_format  main  '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
    
	access_log  /var/log/nginx/k8s-access.log  main;

    upstream k8s-apiserver {
        server 192.168.80.7:6443;
        server 192.168.80.17:6443;
    }
    server {
        listen 6443;
        proxy_pass k8s-apiserver;
    }
}

http {
......


//检查配置文件语法
nginx -t   

//启动nginx服务，查看已监听6443端口
systemctl start nginx
systemctl enable nginx
netstat -natp | grep nginx

部署keepalive服务

//部署keepalived服务

yum install keepalived -y

//修改keepalived配置文件
vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   # 接收邮件地址
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   # 邮件发送地址
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id NGINX_MASTER        #lb01节点的为 NGINX_MASTER，lb02节点的为 NGINX_BACKUP
   vrrp_skip_check_adv_addr
   #vrrp_strict                #这里要注释
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

#添加一个周期性执行的脚本
vrrp_script check_nginx {
   script "/etc/nginx/check_nginx.sh"        #指定检查nginx存活的脚本路径
}

vrrp_instance VI_1 {
    state MASTER                    #lb01节点的为 MASTER，lb02节点的为 BACKUP
    interface ens33                    #指定网卡名称 ens33
    virtual_router_id 51            #指定vrid，两个节点要一致
    priority 100                    #lb01节点的为 100，lb02节点的为 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.80.100/24            #指定 VIP
    }
    track_script {
      check_nginx                    #指定vrrp_script配置的脚本
    }
}



//创建nginx状态检查脚本 
vim /etc/nginx/check_nginx.sh
#!/bin/bash
#egrep -cv "grep|$$" 用于过滤掉包含grep 或者 $$ 表示的当前Shell进程ID，即脚本运行的当前进程ID号
count=$(ps -ef | grep nginx | egrep -cv "grep|$$")

if [ "$count" -eq 0 ];then
    systemctl stop keepalived
fi


chmod +x /etc/nginx/check_nginx.sh

scp /etc/keepalived/keepalived.conf root@192.168.80.16:/etc/keepalived/keepalived.conf

scp /etc/nginx/check_nginx.sh root@192.168.80.16:/etc/nginx/check_nginx.sh


注意另外一台keepalive配置也要进行修改（需改内容已经用注释提示）

//启动keepalived服务（一定要先启动了nginx服务，再启动keepalived服务）
systemctl start keepalived
systemctl enable keepalived
ip a                #查看VIP是否生成

关闭主节点的nginx服务，模拟故障，测试keepalived
 ​
 #关闭主节点lb01的Nginx服务，模拟宕机，观察VIP是否漂移到备节点
 systemctl stop nginx
 ip addr
 systemctl status keepalived   #此时keepalived被脚本杀掉了   
 ​
 #备节点查看是否生成了VIP
 ip addr    #此时VIP漂移到备节点lb02
 



 #恢复主节点
 systemctl start nginx         #先启动nginx
 systemctl start keepalived    #再启动keepalived
 ip addr​

修改node节点上的配置文件

//修改node节点上的bootstrap.kubeconfig,kubelet.kubeconfig配置文件为VIP
cd /opt/kubernetes/cfg/
vim bootstrap.kubeconfig 
server: https://192.168.80.100:6443
                      
vim kubelet.kubeconfig
server: https://192.168.80.100:6443
                        
vim kube-proxy.kubeconfig
server: https://192.168.80.100:6443

//重启kubelet和kube-proxy服务
systemctl restart kubelet.service 
systemctl restart kube-proxy.service

//在 lb01 上查看 nginx 和 node 、 master 节点的连接状态
netstat -natp | grep nginx

在master节点上创建pod

/测试创建pod
kubectl run nginx --image=nginx

//查看Pod的状态信息
kubectl get pods
NAME    READY   STATUS              RESTARTS   AGE
nginx   0/1     ContainerCreating   0          14s   #正在创建中

kubectl get pods
NAME    READY   STATUS    RESTARTS   AGE
nginx   1/1     Running   0          34m  			#创建完成，运行中

kubectl get pods -o wide
NAME    READY   STATUS    RESTARTS   AGE   IP           NODE            NOMINATED NODE   READINESS GATES
nginx   1/1     Running   0          39m   10.244.0.3   192.168.80.11   <none>           <none>
//READY为1/1，表示这个Pod中有1个容器

在对应网段的node节点上操作，可以直接使用浏览器或者curl命令访问

这时在master01节点上查看nginx日志

kubectl logs nginx

三、部署 Dashboard

Dashboard 介绍
        仪表板是基于Web的Kubernetes用户界面。您可以使用仪表板将容器化应用程序部署到Kubernetes集群，对容器化应用程序进行故障排除，并管理集群本身及其伴随资源。您可以使用仪表板来概述群集上运行的应用程序，以及创建或修改单个Kubernetes资源（例如deployment，job，daemonset等）。

        例如，您可以使用部署向导扩展部署，启动滚动更新，重新启动Pod或部署新应用程序。仪表板还提供有关群集中Kubernetes资源状态以及可能发生的任何错误的信息。

//在 master01 节点上操作
#上传 recommended.yaml 文件到 /opt/k8s 目录中
cd /opt/k8s
vim recommended.yaml
#默认Dashboard只能集群内部访问，修改Service为NodePort类型，暴露到外部：
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30001     #添加
  type: NodePort          #添加  NodePort测试环境使用，生产环境不使用。
  selector:
    k8s-app: kubernetes-dashboard

kubectl apply -f recommended.yaml

#创建service account并绑定默认cluster-admin管理员集群角色
kubectl create serviceaccount dashboard-admin -n kube-system

kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin

kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

使用输出的token登录Dashboard

 二进制部署k8s集群部署的步骤总结

（1）k8s的数据存储中中心的搭建 etcd

etcd 安装步骤

准备 CA 证书和 私钥文件 ，首先 CA 签发服务端证书 和 私钥文件
使用 CA 证书 、服务端证书、私钥文件 还有etcd 集群配置文件 启动etcd服务
复制etcd工作目录和管理文件到另外几个etcd节点上并修改etcd的配置文件，然后启动etcd服务
最后使用 etcdctl 命令查看etcd集群的状态

（2）单机master节点的部署

master 组件

1、先安装 apiserver

        1.1 准备apiserver的证书和私钥文件
              准备bootstrap  token 认证文件 （用于kubelet启动时签发证书时使用）
              准备apiserver的配置文件
              启动 apiserver 服务    端口是 6443 https

2、再安装controller-manager 和 scheduler

        2.1 先准备相关的启动配置文件
              然后再准备相关证书和私钥文件 生成 kubeconfig 文件（用于指定对接apiserver，使用什么证书认证）启动服务

              准备kubeconfig文件  把kubectl 加入到集群中（指定对接apiserver，使用什么证书认证）

（3）k8s的node节点的部署

先部署docker 引擎
准备kubeconfig文件、kube-proxy.kubeconfig文件还有kubenetes组件（kubelet、kube-proxy）
对kubelet-bootstrap 用户授予权限，启动相应服务并通过 CSR 请求

  • 安装CNI 网络插件实现 pod 跨主机的通信
  • 安装CoreDNS 插件实现 service 名称解析到 clusterIP

（4）高可用k8s的搭建

首先引入新的master节点，然后把master01 节点上的证书文件、各master组件的配置文件和服务管理文件拷贝到 其它master 节点并修改配置文件。最后启动相关服务。

搭建nginx/Haproxy    keepalived 高可用负载均衡器对master节点

修改 node节点上kubelet kube-proxy的 kubeconfig配置文件对接VIP

kubectl的配置文件也要对接VIP或者当前的节点

fhjtg
关注
  • 25
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【实战加详解】二进制部署k8s高可用集群教程系列十 - 部署高可用
JohnYang's CSDN Home
10-12 918
实战加详解 - 完美解决二进制部署k8s高可用集群中ssl证书以及TLS Bootstrap机制的问题
kubernetes二进制集群部署——–多master集群（步骤非常详细，适合初学者）
01-09
文章目录一、多master节点集群搭建示意图二、部署环境—单 master 节点的 k8s集群三、添加 master2 多节点K8s集群3.1、在master1上拷贝重要文件给master23.2、master2修改复制的配置文件3.3、制作master2 的ETCD证书...
二进制部署k8s高可用集群
qq_43010289的博客
08-18 2110
二进制部署k8s
二进制部署k8s集群
m0_46079130的博客
03-30 2991
欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了 图片
二进制部署高可用k8s集群
weixin_45112997的博客
05-22 1594
二进制部署高可用k8s集群
二进制部署K8S集群（单master）
TTSuzuka的博客
02-09 486
二进制部署K8S集群
K8S二进制部署详解，一文教会你部署高可用K8S集群
景天科技苑
02-07 2771
虽然kubeadm方式搭建K8S比较简单，但是对里面的原理都不清楚的话，生产中使用功能可能不便于排查故障。二进制方式部署的k8s集群比较稳定。 二进制方式搭建：在官网下载相关组件的二进制包，如果手动安装，对kubernetes理解也会更全面。 Kubeadm和二进制都适合生产环境，在生产环境运行都很稳定，具体如何选择，可以根据实际项目进行评估。
[k8s]二进制部署k8s 1.20高可用集群(无坑)
yyq2272的博客
02-25 6214
结构规划 角色 ip 组件 k8s-master01 10.255.32.21 etcd kube-apiserver kube-controller-manager kube-scheduler kube-proxy k8s-master02 10.255.32.22 etcd kube-apiserver kube-controller-manager kube-scheduler kube-proxy k8s-node01 10.255.32.23 etcd kubelet
K8s进阶2——二进制搭建K8s高可用集群
百慕卿君博客
05-17 1384
二进制搭建K8s高可用集群，全网最细
二进制方式部署k8s集群（实践）
qq_54494363的博客
07-24 1052
二进制部署Kubernetes (二进制部署k8s) 是一种手动安装和配置Kubernetes集群的方法，适用于那些对Kubernetes架构和组件有深入了解的高级用户和管理员。
k8s，盘他！k8s多master节点使用二进制部署实操
01-09
文章目录前言一：k8s二进制方式多节点部署1.1：环境介绍1.2：master02节点操作1.2：nginx负载均衡集群部署谢谢赏阅！如有疑问可评论区交流！ 前言 一：k8s二进制方式多节点部署 要先部署单节点集群，可查阅博客...
二进制文件部署k8s集群的资源和指南(v1.22)
03-06
集群版本为1.22，压缩文件中包含所需的全部文件和详细的操作指南。同时支持单master节点的简易部署方式 和 多master节点的高可用部署方式。
k8s二进制文件以及docker二进制文件
03-09
kubectl label node 10.2.0.244 role=master (10.2.0.244 是我本机kubernetes 的master节点 ，所以我也将此master也部署在这里) 其余的两个节点分别是data 和 client 执行命令：kubectl create -f es-discovery...
K8s集群搭建ansible部署脚本
04-21
k8s二进制组件使用最新的1.23.5 部署以下模块内容包括： preinstall 安装前准备，主机环境初始化，二进制文件拷贝 certs 生成集群所需要的ssl证书 master 主节点服务部署，使用systemd服务方式 worker 工作节点服务...
认识K8s集群的声明式资源管理方法
qq_64612585的博客
05-22 1069
通过使用 yaml 或 josn 文件对资源配置，然后再实现对资源的管理。适合于对资源的修改操作声明式资源管理方法依赖于资源配置清单文件对资源进行管理；资源配置清单文件有两种格式：yaml（人性化，易读），json（易于api接口解析）对资源的管理，是通过事先定义在统一资源配置清单内，再通过陈述式命令应用到k8s集群里。
k8s集群中pod的容器资源限制和三种探针
2301_81307988的博客
05-26 1076
例如：在买硬盘的时候，操作系统报的数量要比产品标出或商家号称的小一些，主要原因是标出的是以 MB、GB为单位的，1GB 就是1,000,000,000Byte，而操作系统是以2进制为处理单位的，因此检查硬盘容量时是以MiB、GiB为单位，1GiB=2^30=1,073,741,824，相比较而言，1GiB要比1GB多出1,073,741,824-1,000,000,000=73,741,824Byte，所以检测实际结果要比标出的少一些。Kubernetes 不允许设置精度小于 1m 的 CPU 资源。
【云原生】K8s 管理工具 kubectl 详解(三)
AH99999的博客
05-23 712
在不定义CHANGE-CAUSE的情况下，缺省值为，当历史版本较多时，不便于咱们回滚时辨认版本号。因此，建议定义CHANGE-CAUSE为服务版本以帮助咱们辨认当前服务。一般通过修改配置的方式定义change-cause......metadata:#下行可定义历史版本revision#在Deployment的matadata项下的annotations中如下行定义change-cause......
pod详解
最新发布
m0_66372974的博客
05-28 974
Pod是kubernetes中最小的资源管理组件，Pod也是最小化运行容器化应用的资源对象。一个Pod代表着集群中运行的一个进程。kubernetes中其他大多数组件都是围绕着Pod来进行支撑和扩展Pod功能的，例如，用于管理Pod运行的StatefulSet和Deployment等控制器对象，用于暴露Pod应用的Service和Ingress对象，为Pod提供存储的PersistentVolume存储资源对象等k8s集群中pod两种使用方式一个Pod中运行一个容器。
如何通过二进制方式部署k8s集群
04-29
部署Kubernetes集群的二进制方式包括以下步骤： 1. 下载Kubernetes二进制文件：在Kubernetes官网下载适用于您的操作系统的二进制文件。例如，在Linux中，您需要下载kubectl、kubelet和kubeadm。 2. 安装Docker：您需要安装Docker以运行Kubernetes集群中的容器。您可以从Docker官网下载并安装Docker。 3. 初始化集群：使用kubeadm工具初始化集群。在Master节点上运行以下命令： ``` sudo kubeadm init --pod-network-cidr=10.244.0.0/16 ``` 其中，pod-network-cidr是您要使用的网络插件的CIDR。 4. 安装网络插件：在Kubernetes集群中，您需要一个网络插件来使Pod之间能够通信。例如，您可以使用Flannel插件。在Master节点上运行以下命令： ``` kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml ``` 5. 加入节点：在要加入集群的节点上运行以下命令： ``` sudo kubeadm join <master-node-ip>:<master-node-port> --token <token> --discovery-token-ca-cert-hash <hash> ``` 其中，master-node-ip和master-node-port是Master节点的IP地址和端口号，token是在Master节点上生成的令牌，hash是在Master节点上生成的Discovery Token CA证书哈希。 6. 验证集群：在Master节点上运行以下命令，验证集群是否正常运行： ``` kubectl get nodes ``` 如果所有节点都已成功加入集群，则应该看到所有节点的状态都是“Ready”。 这就是通过二进制方式部署Kubernetes集群的基本步骤。注意，这只是一个简单的示例，您可能需要根据您的特定需求进行更改。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值