Go最新使用 Kubeadm 部署 Kubernetes 集群详细指南_kubeadm部署(1)，简单聊聊2024年Golang开发的现状和思考

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

sudo apt update
apt-cache madison kubeadm | tac

指定版本，如下所示。

sudo apt-get install -y kubelet=1.28.2-00 kubectl=1.28.2-00 kubeadm=1.28.2-00

或者，若要从存储库安装最新版本，请使用以下命令，而不指定任何版本。

sudo apt-get install -y kubelet kubeadm kubectl

为包添加保留以防止升级。

sudo apt-mark hold kubelet kubeadm kubectl

现在，我们已经拥有了使用 kubeadm 配置 Kubernetes 组件所需的所有实用程序和工具。

将节点 IP 添加到 .KUBELET_EXTRA_ARGS

sudo apt-get install -y jq
local_ip="$(ip --json a s | jq -r '.[] | if .ifname == "eth1" then .addr_info[] | if .family == "inet" then .local else empty end else empty end')"
cat > /etc/default/kubelet << EOF
KUBELET_EXTRA_ARGS=--node-ip=$local_ip
EOF

在主节点上初始化 kubeadm 以设置控制平面

在这里，您需要考虑两种选择。

1. **具有私有 IP 的主节点：**如果您的节点只有私有 IP 地址，则将通过主节点的私有 IP 访问 API 服务器。
2. **具有公共 IP 的主节点：**如果您在云平台上设置Kubeadm 集群，并且需要通过主节点服务器的公共 IP 访问主 Api 服务器。

只有 Kubeadm 初始化命令对于公共 IP 和私有 IP 有所不同。

仅在主节点上执行本节中的命令。

如果您为主节点使用私有 IP，

设置以下环境变量。替换为主节点的 IP 10.0.0.10

IPADDR="10.0.0.10"
NODENAME=$(hostname -s)
POD_CIDR="192.168.0.0/16"

如果要使用主节点的公有 IP，

设置以下环境变量。IPADDR 变量将使用 curl 调用自动设置为服务器的公共 IP。还可以将其替换为公共 IP 地址ifconfig.me

IPADDR=$(curl ifconfig.me && echo "")
NODENAME=$(hostname -s)
POD_CIDR="192.168.0.0/16"

现在，使用 kubeadm 命令初始化主节点控制平面配置。

对于基于私有 IP 地址的设置，请使用以下 init 命令。

sudo kubeadm init --apiserver-advertise-address=$IPADDR  --apiserver-cert-extra-sans=$IPADDR  --pod-network-cidr=$POD_CIDR --node-name $NODENAME --ignore-preflight-errors Swap

--ignore-preflight-errors Swap实际上不是必需的，因为我们最初禁用了交换。

对于基于公共 IP 地址的设置，请使用以下 init 命令。

在这里，我们使用 API 服务器端点的参数来代替。--apiserver-advertise-address``--control-plane-endpoint

sudo kubeadm init --control-plane-endpoint=$IPADDR  --apiserver-cert-extra-sans=$IPADDR  --pod-network-cidr=$POD_CIDR --node-name $NODENAME --ignore-preflight-errors Swap

所有其他步骤都与使用私有 IP 配置主节点相同。

在成功的 kubeadm 初始化后，您应该会得到一个带有 kubeconfig 文件位置的输出和带有令牌的 join 命令，如下所示。复制它并将其保存到文件中。我们将需要它来将工作节点连接到主节点。

使用输出中的以下命令创建 in master，以便您可以使用它与集群 API 进行交互。kubeconfig``kubectl

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

现在，通过执行以下 kubectl 命令来验证 kubeconfig，以列出命名空间中的所有 pod。kube-system

kubectl get po -n kube-system

您应看到以下输出。您将看到两个 Coredns Pod 处于挂起状态。这是预期的行为。一旦我们安装了网络插件，它就会处于运行状态

您可以使用以下命令验证所有群集组件运行状况。

kubectl get po -n kube-system

您可以使用以下命令获取集群信息。

kubectl get --raw='/readyz?verbose'

默认情况下，不会在主节点上计划应用。如果要使用主节点调度应用程序，请 taint 主节点。

kubectl taint nodes --all node-role.kubernetes.io/control-plane-

安装用于 Pod 网络的 Calico 网络插件

Kubeadm 没有配置任何网络插件。您需要为 kubernetes pod 网络安装您选择的网络插件并启用网络策略。

我正在使用 Calico 网络插件进行此设置。

注意：请确保从配置文件的位置执行 kubectl 命令。从工作站的主站连接到 kubernetes API。kubeconfig

执行以下命令，在集群上安装 Calico network plugin operator。

kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/tigera-operator.yaml

curl https://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/custom-resources.yaml -O

kubectl create -f custom-resources.yaml

几分钟后，如果检查命名空间中的 Pod，您将看到 calico Pod 和正在运行的 CoreDNS Pod。kube-system

将 Worker 节点加入 Kubernetes 主节点

我们还在工作节点上设置了 cri-o、kubelet 和 kubeadm 实用程序。

现在，让我们使用您在设置主节点时在输出中获得的 Kubeadm join 命令将工作节点加入主节点。

如果您错过了复制 join 命令，请在主节点中执行以下命令，以使用 join 命令重新创建令牌。

kubeadm token create --print-join-command

下面是该命令的样子。如果您以普通用户身份运行，请使用。此命令对节点执行 TLS 引导。sudo

sudo kubeadm join 10.128.0.37:6443 --token j4eice.33vgvgyf5cxw4u8i \
    --discovery-token-ca-cert-hash sha256:37f94469b58bcc8f26a4aa44441fb17196a585b37288f85e22475b00c36f1c61

成功执行后，您将看到输出显示“此节点已加入集群”。

现在从主节点执行 kubectl 命令，以检查节点是否已添加到主节点。

kubectl get nodes

示例输出，

root@master-node:/home/vagrant# kubectl get nodes
NAME            STATUS   ROLES           AGE     VERSION
controlplane     Ready    control-plane   14m     v1.28.2
node01           Ready    <none>          2m13s   v1.28.2
node02           Ready    <none>          2m5s    v1.28.2

在上面的命令中，ROLE 用于工作节点。您可以使用以下命令向工作器节点添加标签。替换为要标记的工作器节点的主机名。<none>``**worker-node01**

kubectl label node worker-node01  node-role.kubernetes.io/worker=worker

您可以使用相同的 join 命令进一步添加更多节点。

设置 Kubernetes 指标服务器

Kubeadm 在初始化期间不会安装指标服务器组件。我们必须单独安装它。

为了验证这一点，如果运行 top 命令，您将看到错误。Metrics API not available

root@master-node:~# kubectl top nodes
error: Metrics API not available

要安装指标服务器，请执行以下指标服务器清单文件。它部署指标服务器版本v0.6.2

kubectl apply -f https://raw.githubusercontent.com/techiescamp/kubeadm-scripts/main/manifests/metrics-server.yaml

此清单取自官方指标 server repo。我已将该标志添加到容器中，使其在本地设置中工作并单独托管它。否则，您将收到以下错误。--kubelet-insecure-tls

 because it doesn't contain any IP SANs" node=""

部署指标服务器对象后，您需要一分钟才能使用 top 命令查看节点和 Pod 指标。

kubectl top nodes

您应该能够查看节点指标，如下所示。

root@master-node:/home/vagrant# kubectl top nodes
NAME            CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
master-node     111m         5%     1695Mi          44%
worker-node01   28m          2%     1078Mi          57%
worker-node02   219m         21%    980Mi           52%

您还可以使用以下命令查看 Pod CPU 和内存指标。

kubectl top pod -n kube-system

部署示例 Nginx 应用程序

现在我们已经拥有了使集群和应用程序工作的所有组件，让我们部署一个示例 Nginx 应用程序，看看我们是否可以通过 NodePort 访问它

创建 Nginx 部署。直接在命令行上执行以下命令。它将 Pod 部署在默认命名空间中。

cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 2 
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:latest
        ports:
        -

在 NodePort 32000 上公开 Nginx 部署

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  name: nginx-service
spec:
  selector: 
    app: nginx
  type: NodePort  
  ports:
    - port: 80
      targetPort: 80
      nodePort: 32000
EOF

使用以下命令检查 Pod 状态。

kubectl get pods

部署完成后，您应该能够在分配的 NodePort 上访问 Nginx 主页。

例如

可能的 kubeadm 问题

以下是您在 kubeadm 设置中可能遇到的问题。

1. **Pod 内存和 CPU 不足：**主节点应至少具有 2 个 vCPU 和 2 GB 内存。
2. **节点无法连接到主节点：**检查节点之间的防火墙，并确保所有节点都可以在所需的 Kubernetes 端口上相互通信。
3. **Calico Pod 重新启动：**有时，如果对节点和 Pod 网络使用相同的 IP 范围，则 Calico Pod 可能无法按预期工作。因此，请确保节点和 Pod 的 IP 范围不重叠。重叠的 IP 地址也可能导致群集上运行的其他应用程序出现问题。

如果服务器没有至少 2 个 vCPU，则会出现以下错误。

[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2

如果使用带参数的公有 IP，则主节点组件将出现故障，并显示以下错误。若要更正此错误，请将参数与公共 IP 地址一起使用。--apiserver-advertise-address``--control-plane-endpoint

kubelet-check] Initial timeout of 40s passed.


Unfortunately, an error has occurred:
        timed out waiting for the condition

This error is likely caused by:
        - The kubelet is not running
        - The kubelet is unhealthy due to a misconfiguration of the node in some way (required cgroups disabled)

If you are on a systemd-powered system, you can try to troubleshoot the error with the following commands:
        - 'systemctl status kubelet'

在主节点重置后，当您尝试使用新令牌加入工作节点时，工作节点中会出现以下错误。要纠正此错误，请使用命令重置工作器节点。kubeadm reset

[ERROR FileAvailable--etc-kubernetes-kubelet.conf]: /etc/kubernetes/kubelet.conf already exists
        [ERROR Port-10250]: Port 10250 is in use
        [ERROR FileAvailable--etc-kubernetes-pki-ca.crt]: /etc/kubernetes/pki/ca.crt already exists

Kubernetes 集群重要配置

以下是您应该了解的重要 Kubernetes 集群配置。

配置	位置
静态 Pod 位置（etcd、api-server、控制器管理器和调度器）	/etc/kubernetes/manifests
TLS 证书位置（kubernetes-ca、etcd-ca 和 kubernetes-front-proxy-ca）	/etc/kubernetes/pki
Admin Kubeconfig 文件	/etc/kubernetes/admin.conf

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

ubernetes/manifests |
| TLS 证书位置（kubernetes-ca、etcd-ca 和 kubernetes-front-proxy-ca） | /etc/kubernetes/pki |
| Admin Kubeconfig 文件 | /etc/kubernetes/admin.conf |

[外链图片转存中…(img-TsvfpyTn-1715892030616)]
[外链图片转存中…(img-4ctABJPT-1715892030617)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！