kubernetes1.28部署（Centos7）

孤独天狼

已于 2024-10-14 15:18:42 修改

阅读量322

点赞数 2

文章标签： kubernetes 容器云原生

于 2024-09-27 11:57:44 首次发布

本文链接：https://blog.csdn.net/u013226533/article/details/142589728

版权

前提要点

1. 参考地址：k8s笔记-CSDN博客

备注：特别感谢该博主的资料，非常详细

2.采用kubeadm部署

3.容器采用Containerd

集群规划

192.168.184.137 k8s-node1
192.168.184.138 k8s-node2
192.168.184.139 k8s-node3

内核升级

sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup    #备份原有文件
sudo curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo                  #增加阿里数据源

yum update -y --exclude=kernel*                      #系统升级但不升级内核

sudo yum clean all                                 #清楚缓存
sudo yum makecache                                 #添加数据源到缓存


#下载内核      
wget https://dl.lamp.sh/kernel/el7/kernel-ml-5.15.63-1.el7.x86_64.rpm 
wget https://dl.lamp.sh/kernel/el7/kernel-ml-devel-5.15.63-1.el7.x86_64.rpm 
wget https://dl.lamp.sh/kernel/el7/kernel-ml-headers-5.15.63-1.el7.x86_64.rpm 
wget https://dl.lamp.sh/kernel/el7/kernel-ml-tools-5.15.63-1.el7.x86_64.rpm 
wget https://dl.lamp.sh/kernel/el7/kernel-ml-tools-libs-5.15.63-1.el7.x86_64.rpm 
wget https://dl.lamp.sh/kernel/el7/kernel-ml-tools-libs-devel-5.15.63-1.el7.x86_64.rpm
#安装内核
yum localinstall kernel-ml-* -y --skip-broken              

#修改内核启动顺序
grub2-set-default 0  && grub2-mkconfig -o /etc/grub.cfg
grubby --args="user_namespace.enable=1" --update-kernel="$(grubby --default-kernel)"
grubby  --default-kernel                              #查看默认内核版本是不是5.15
reboot                                                #服务重启
uname -a                                              #查看内核版本


#解决出现：   您在 /var/spool/mail/root 中有新邮件 
cat /dev/null > /var/spool/mail/root                   #删除邮件
echo "unset MAILCHECK" >> /etc/profile                 #禁止系统启动邮件检查

环境准备

1.修改主机名

hostnamectl set-hostname  xxx        #修改主机名
hostnamectl status                   #查看主机名

2.同步hosts文件

如果 DNS 不支持主机名称解析，还需要在每台机器的 /etc/hosts 文件中添加主机名和 IP 的对应关系

cat >> /etc/hosts <<EOF
192.168.184.137  k8s-node1
192.168.184.138  k8s-node2
192.168.184.139  k8s-node3
192.168.184.100 k8s-node4
EOF

3.关闭防火墙

systemctl stop firewalld && systemctl disable firewalld          #关闭防火墙
firewall-cmd --state                                             #查看防火墙状态

4.关闭 SELINUX

setenforce 0 && sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
#查看状态
sestatus                         

#SELinux status:                 disabled            #表示已关闭

5.关闭 swap 分区

swapoff -a && sed -ri 's/.*swap.*/#&/' /etc/fstab
free -m                   #查看状态

6.同步时间

yum install ntpdate -y

ntpdate time.windows.com

7.网络配置

#IP配置含义
TYPE="Ethernet"                   #网络类型（通常是Ethemet） 
PROXY_METHOD="none"               #代理方法配置。设置为none表示不使用代理。
BROWSER_ONLY="no"                 #设置为no表示该网络接口不仅用于浏览器访问，还可以用于其他网络通信
BOOTPROTO="dhcp"                  #定义接口的启动协议，设置为static表示使用静态IP地址。其他可能的值包括dhcp（动态获取IP）和none（不自动获取IP）
DEFROUTE="yes"                    #设置为yes表示使用此接口作为默认路由。
IPV4_FAILURE_FATAL="no"           #设置为no表示即使IPv4配置失败，网络服务也不会停止
IPV6INIT="yes"                    #设置为yes表示启用IPv6协议
IPV6_AUTOCONF="yes"               #设置为yes表示自动配置IPv6地址         
IPV6_DEFROUTE="yes"               #设置为yes表示使用此接口的IPv6地址作为默认路由
IPV6_FAILURE_FATAL="no"           #设置为no表示即使IPv6配置失败，网络服务也不会停止
IPV6_ADDR_GEN_MODE="stable-privacy"     #设置为stable-privacy表示生成稳定的隐私IPv6地址
NAME="ens33"                            #网络接口的逻辑名称。可以与DEVICE相同。
UUID="e60ee42d-c54f-4505-901b-2267f69bf592"   #
DEVICE="ens33"                          #网络设备的名称。通常与ifconfig或ip a命令中看到的名称一致，如ens32
ONBOOT="yes"                            #设置为yes表示系统启动时自动启用该网络接口
IPADDR="192.168.10.2"                   #要为该接口分配的静态IP地址。确保该IP地址在你的网络中是唯一的
PREFIX="24"                             #
GATEWAY="192.168.10.2"                  #默认网关IP地址。它是流量发送到其他网络时的出口
DNS1="8.8.8.8"                          #系统使用的第一个DNS服务器地址，用于域名解析。
DNS2="8.8.4.4"                          #可选的第二个DNS服务器地址，作为备用。

#######################每台机器都要操作################################

#IP地址配置    在134的机器上执行   
vim /etc/sysconfig/network-scripts/ifcfg-ens33                
BOOTPROTO="dhcp"                 #将原有内容改为：none
#在文件中追加以下内容
IPADDR="192.168.184.134"           #增加 改为自己的IP地址          
PREFIX="24"                       #直接增加                           
GATEWAY="192.168.184.2"            #增加   默认网关xxx.xxx.xxx.2（比如：192.168.184.2）           
DNS1="192.168.184.134"             #增加   与IP地址一致     
DNS2="8.8.8.8"                    #直接增加   

#IP地址配置    在135的机器上执行   
vim /etc/sysconfig/network-scripts/ifcfg-ens33            
BOOTPROTO="dhcp"                 #将原有内容改为：none
#在文件中追加以下内容
IPADDR="192.168.184.135"           #增加 改为自己的IP地址          
PREFIX="24"                       #直接增加                           
GATEWAY="192.168.184.2"            #增加   默认网关xxx.xxx.xxx.2（比如：192.168.184.2）           
DNS1="192.168.184.135"             #增加   与IP地址一致     
DNS2="8.8.8.8"                    #直接增加 


#IP地址配置    在136的机器上执行   
vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="dhcp"                 #将原有内容改为：none
#在文件中追加以下内容                         
IPADDR="192.168.184.136"           #增加 改为自己的IP地址          
PREFIX="24"                       #直接增加                           
GATEWAY="192.168.184.2"            #增加   默认网关xxx.xxx.xxx.2（比如：192.168.184.2）           
DNS1="192.168.184.136"             #增加   与IP地址一致     
DNS2="8.8.8.8"                    #直接增加 



#重启网络
sudo systemctl restart network 

#检查网络接口，验证静态IP地址是否配置正确
ifconfig

#测试网络连接   该命令会向8.8.8.8发送4个ICMP请求（这是Google的公共DNS服务器），并返回响应时间。如果能成功ping通，说明网络连接正常
ping -c 4 8.8.8.8

#查看IP地址
[root@k8s-node1 network-scripts]# ip a s ens33
#出现以下内容表示成功
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:44:aa:4d brd ff:ff:ff:ff:ff:ff
    inet 192.168.184.134/24 brd 192.168.184.255 scope global ens33
       valid_lft forever preferred_lft forever



# 添加网桥过滤及内核转发配置文件
cat  > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness=0
EOF

# 加载 overlay br_netfilter 模块
modprobe br_netfilter

#配置modprobe br_netfilter 开机执行
vim /etc/sysconfig/modules/br_netfilter.modules
#!/bin/bash
modprobe br_netfilter
 
#设置执行权限
chmod 755 /etc/sysconfig/modules/br_netfilter.modules


#查看是否加载    （暂时忽略这个，还没找到原因）
lsmod | grep br_netfilter
  # br_netfilter   22256   0
  # bridge         151336  1 br_netfilter

# 查看当前配置是否生效
sysctl -p /etc/sysctl.d/k8s.conf



#安装ipvs以及ipvsadm   用户空间查看ipvs的相关命令 
#备注：如不安装，该网络会影响service的访问
yum -y install ipset ipvsadm

#配置ipvsadm模块加载方式
#添加需要加载的模块
cat >  /etc/sysconfig/modules/ipvs.modules  <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
EOF

#授权、运行、检查是否加载
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

#出现以下内容表示成功
ip_vs_sh               16384  0 
ip_vs_wrr              16384  0 
ip_vs_rr               16384  0 
ip_vs                 151552  6 ip_vs_rr,ip_vs_sh,ip_vs_wrr
nf_conntrack          143360  5 xt_conntrack,nf_nat,ipt_MASQUERADE,nf_nat_ipv4,ip_vs
nf_defrag_ipv6         20480  1 nf_conntrack
nf_defrag_ipv4         16384  1 nf_conntrack
libcrc32c              16384  4 nf_conntrack,nf_nat,xfs,ip_vs

k8s组件安装

1.安装 containerd

######################离线二级制安装1.7.3   所有集群操作####################
#github下载containerd
wget https://github.com/containerd/containerd/releases/download/v1.7.3/cri-containerd-1.7.3-linux-amd64.tar.gz

#解压
tar xf cri-containerd-1.7.3-linux-amd64.tar.gz -C /
#查看版本信息
containerd --version
#出现该内容表示安装成功
#containerd github.com/containerd/containerd v1.7.3 7880925980b188f4c97b462f709d0db8e8962aff
#创建配置文件目录
mkdir /etc/containerd
//创建配置文件内容
cat >  /etc/containerd/config.toml <<EOF
disabled_plugins = ["restart"]
[plugins.linux]
shim_debug = true
[plugins.cri.registry.mirrors."docker.io"]
endpoint = ["https://hcsc2d7v.mirror.aliyuncs.com","https://mirrors.aliyun.com","https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com","https://docker.m.daocloud.io","https://registry.docker-cn.com","https://docker.rainbond.cc"]
[plugins.cri]
sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.9"
EOF



#生成配置文件   （先不要使用）
containerd config default > /etc/containerd/config.toml
#修改配置文件内容    将8改成9（先不要使用）
sandbox_image = "registry.k8s.io/pause:3.8"    

#启动 containerd 服务 并 开机配置自启动
systemctl enable containerd && systemctl start containerd && systemctl status containerd 

# 配置 containerd 配置
cat > /etc/modules-load.d/containerd.conf <<EOF
overlay
br_netfilter
EOF


###########################安装runc1.1.9    所有集群操作####################
#github下载计算模式库
wget https://github.com/opencontainers/runc/releases/download/v1.1.9/libseccomp-2.5.4.tar.gz
#解压runc包到当前目录
tar xf libseccomp-2.5.4.tar.gz
#安装相关依赖
yum -y install gperf
#进入解压目录
cd /root/libseccomp-2.5.4
#进行安装配置
./configure
#编译
make
#安装
make install
#查看是否安装
find / -name "libseccomp.so"
    #出现以下内容说明安装完成
    #/usr/local/lib/libseccomp.so

#进入根目录下
cd ~
#github下载
wget https://github.com/opencontainers/runc/releases/download/v1.1.9/runc.amd64
#添加权限
chmod +x runc.amd64
#删除老版本
rm -rf `which runc`
#移动执行文件
mv runc.amd64 /usr/local/sbin/runc
#查看版本信息
runc --version
   #出现以下内容说明安装成功
    #runc version 1.1.9
    #commit: v1.1.9-0-gccaecfcb
    #spec: 1.0.2-dev
    #go: go1.20.3
    #libseccomp: 2.5.4

2.安装k8s

###############################在所有节点操作####################
#设置k8s数据源（阿里云）
cat <<EOF > kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

#将数据源添加到配置文件
mv kubernetes.repo /etc/yum.repos.d/
#清除缓存
sudo yum clean all          
#添加数据源到缓存                      
sudo yum makecache                              
#查看数据源
yum repolist

#查看版本信息，并对软件排序
yum list kubeadm.x86_64 --showduplicates | sort -r

# 安装（k8s）      （方式一）最新版本 
yum install -y kubelet kubeadm kubectl

# 安装（k8s）      （方式二）指定版本
yum install -y kubelet-1.28.0-0 kubectl-1.28.0-0 kubeadm-1.28.0-0

#为了实现docker使用的cgroupdriver与kubelet使用cgroup的一致性，建议修改如下内容
vim /etc/sysconfig/kubelet
    KUBELET_EXTRA_ARGS= "--cgroup-driver=systemd"   #加入=（等于号）后面的内容


# kubelet开启启动
sudo systemctl enable kubelet


sudo systemctl start kubelet && sudo systemctl status kubelet

#############注意: 初始化 k8s 集群在 master 节点执行!###############################
#为了加快初始化，根据指定版本提前下载镜像
kubeadm config images pull --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers --kubernetes-version v1.28.0

#出现以下内容表示下载完成
[config/images] Pulled registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.28.0
[config/images] Pulled registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.28.0
[config/images] Pulled registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.28.0
[config/images] Pulled registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.28.0
[config/images] Pulled registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9
[config/images] Pulled registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.5.9-0
[config/images] Pulled registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:v1.10.1


#查看仓库镜像
kubeadm config images list    
#查看下载的镜像        
crictl images                             

####特别提醒：10.15.0.5改成自己的master的IP地址
####备注：这个执行与网络有关，执行的时间有点长，耐心等待
# 初始化master节点            
$ kubeadm init \
--kubernetes-version v1.28.0 \
--apiserver-advertise-address=192.168.184.144 \
--pod-network-cidr=10.244.0.0/16 \
--image-repository registry.aliyuncs.com/google_containers \
--cri-socket=unix:///var/run/containerd/containerd.sock


#如果报错 --v=5 or higher
#执行：  modprobe br_netfilter
kubeadm reset                                 #重新配置,当初始化失败后，可执行该命令，重新配置

备注：出现以下内容表示初始化成功

#创建权限目录和文件    （只在master节点执行）
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config


#创建永不过期的令牌 （在master）     备注：新节点加入时使用 
kubeadm token create --print-join-command --ttl=0

#将生成的内容              在（所有从节点）执行加入master节点
kubeadm join 192.168.184.137:6443 --token 27i6o0.y9zvxsqokyxyzx3n --discovery-token-ca-cert-hash sha256:d82a01c39b586fc400a33c9bf1993ecde32563c78a0cb5c727a5c92fc268ceff

备注：出现以下内容表示加入成功

#查看集群节点状态    （在master节点执行）查看从节点是否加入
kubectl get nodes

3.配置集群网络

3.1calico的安装

官网地址：Calico Documentation | Calico Documentation

官网安装步骤：Quickstart for Calico on Kubernetes | Calico Documentation

#安装
kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.28.2/manifests/tigera-operator.yaml
#查看命名空间
kubectl get ns
#查看calico的pod是否运行     ,有一定要跑起来
kubectl get pods -n tigera-operator
#下载配置文件
wget https://raw.githubusercontent.com/projectcalico/calico/v3.28.2/manifests/custom-resources.yaml
#修改配置文件      
  cidr:  192.168.0.0/16    #修改为10.244.0.0/16  与初始化时的IP保持一致
#执行配置文件
kubectl apply -f custom-resources.yaml

#查看是否启动成功，以及是否成功获取IP网段
kubectl get pods -n kube-system -o wide

3.2 flannel的安装

备注：采用离线安装 flannel插件，共有两个tar包（flannel-flannel-cni-plugin-v1.4.1-flannel1-amd64.tar、flannel-flannel-v0.25.1-amd64.tar）

从文章开头下载jar解压得到以上内容

############将下载的tar包上传到服务器（所有节点执行）  
#上传文件
rz -bye  xxxx.tar         

#将jar包增加到containerd仓库   备注：必须指定命名空间为：k8s.io，否则会找不到镜像
ctr -n k8s.io images import flannel-flannel-v0.25.1-amd64.tar
ctr -n k8s.io images import flannel-flannel-cni-plugin-v1.4.1-flannel1-amd64.tar

#出现以下内容添加成功
#unpacking docker.io/flannel/flannel:v0.25.1 (sha256:4df360aec845c4d5bf72f86e6dcdd776a20985d4f63d63d97396c0ca1f3fba82)...done


#创建配置（master执行）
vim kube-flannel.yml

复制以下内容到 kube-flannel.yml 文件中，内容不用修改

---
kind: Namespace
apiVersion: v1
metadata:
  name: kube-flannel
  labels:
    k8s-app: flannel
    pod-security.kubernetes.io/enforce: privileged
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  labels:
    k8s-app: flannel
  name: flannel
rules:
- apiGroups:
  - ""
  resources:
  - pods
  verbs:
  - get
- apiGroups:
  - ""
  resources:
  - nodes
  verbs:
  - get
  - list
  - watch
- apiGroups:
  - ""
  resources:
  - nodes/status
  verbs:
  - patch
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  labels:
    k8s-app: flannel
  name: flannel
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: flannel
subjects:
- kind: ServiceAccount
  name: flannel
  namespace: kube-flannel
---
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    k8s-app: flannel
  name: flannel
  namespace: kube-flannel
---
kind: ConfigMap
apiVersion: v1
metadata:
  name: kube-flannel-cfg
  namespace: kube-flannel
  labels:
    tier: node
    k8s-app: flannel
    app: flannel
data:
  cni-conf.json: |
    {
      "name": "cbr0",
      "cniVersion": "0.3.1",
      "plugins": [
        {
          "type": "flannel",
          "delegate": {
            "hairpinMode": true,
            "isDefaultGateway": true
          }
        },
        {
          "type": "portmap",
          "capabilities": {
            "portMappings": true
          }
        }
      ]
    }
  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "EnableNFTables": false,
      "Backend": {
        "Type": "vxlan"
      }
    }
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: kube-flannel-ds
  namespace: kube-flannel
  labels:
    tier: node
    app: flannel
    k8s-app: flannel
spec:
  selector:
    matchLabels:
      app: flannel
  template:
    metadata:
      labels:
        tier: node
        app: flannel
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: kubernetes.io/os
                operator: In
                values:
                - linux
      hostNetwork: true
      priorityClassName: system-node-critical
      tolerations:
      - operator: Exists
        effect: NoSchedule
      serviceAccountName: flannel
      initContainers:
      - name: install-cni-plugin
        image: docker.io/flannel/flannel-cni-plugin:v1.4.1-flannel1
        imagePullPolicy: Never
        command:
        - cp
        args:
        - -f
        - /flannel
        - /opt/cni/bin/flannel
        volumeMounts:
        - name: cni-plugin
          mountPath: /opt/cni/bin
      - name: install-cni
        image: docker.io/flannel/flannel:v0.25.1
        imagePullPolicy: Never
        command:
        - cp
        args:
        - -f
        - /etc/kube-flannel/cni-conf.json
        - /etc/cni/net.d/10-flannel.conflist
        volumeMounts:
        - name: cni
          mountPath: /etc/cni/net.d
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
      containers:
      - name: kube-flannel
        image: docker.io/flannel/flannel:v0.25.1
        imagePullPolicy: Never
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        resources:
          requests:
            cpu: "100m"
            memory: "50Mi"
        securityContext:
          privileged: false
          capabilities:
            add: ["NET_ADMIN", "NET_RAW"]
        env:
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: EVENT_QUEUE_DEPTH
          value: "5000"
        volumeMounts:
        - name: run
          mountPath: /run/flannel
        - name: flannel-cfg
          mountPath: /etc/kube-flannel/
        - name: xtables-lock
          mountPath: /run/xtables.lock
      volumes:
      - name: run
        hostPath:
          path: /run/flannel
      - name: cni-plugin
        hostPath:
          path: /opt/cni/bin
      - name: cni
        hostPath:
          path: /etc/cni/net.d
      - name: flannel-cfg
        configMap:
          name: kube-flannel-cfg
      - name: xtables-lock
        hostPath:
          path: /run/xtables.lock
          type: FileOrCreate

#创建并生成flannel容器
kubectl apply -f kube-flannel.yml
#查看集群状态   （在master执行）
kubectl get nodes
NAME        STATUS   ROLES           AGE   VERSION
k8s-node1   Ready    control-plane   21h   v1.26.0
k8s-node2   Ready    <none>          21h   v1.26.0
k8s-node3   Ready    <none>          21h   v1.26.0
# 查看集群系统 pod 运行情况,下面所有 pod 状态为 Running 代表集群可用
kubectl get pod -A
NAMESPACE      NAME                                READY   STATUS    RESTARTS   AGE
kube-flannel   kube-flannel-ds-gtq49               1/1     Running   0          21h
kube-flannel   kube-flannel-ds-qpdl6               1/1     Running   0          21h
kube-flannel   kube-flannel-ds-ttxjb               1/1     Running   0          21h
kube-system    coredns-5bbd96d687-p7q2x            1/1     Running   0          21h
kube-system    coredns-5bbd96d687-rzcnz            1/1     Running   0          21h
kube-system    etcd-k8s-node1                      1/1     Running   0          21h
kube-system    kube-apiserver-k8s-node1            1/1     Running   0          21h
kube-system    kube-controller-manager-k8s-node1   1/1     Running   0          21h
kube-system    kube-proxy-mtsbp                    1/1     Running   0          21h
kube-system    kube-proxy-v2jfs                    1/1     Running   0          21h
kube-system    kube-proxy-x6vhn                    1/1     Running   0          21h
kube-system    kube-scheduler-k8s-node1            1/1     Running   0          21h