k8s控制平面kube-controller-manager部署

最新推荐文章于 2024-08-30 12:34:49 发布
最新推荐文章于 2024-08-30 12:34:49 发布
阅读量701 收藏
点赞数
文章标签： json 运维 网络
原文链接：http://www.cnblogs.com/gytangyao/p/10859361.html
版权

说明：本部署文章参照了 https://github.com/opsnull/follow-me-install-kubernetes-cluster ，欢迎给作者star

本文档介绍部署高可用 kube-controller-manager 集群的步骤。

该集群包含 3 个节点，启动后将通过竞争选举机制产生一个 leader 节点，其它节点为阻塞状态。当 leader 节点不可用后，剩余节点将再次进行选举产生新的 leader 节点，从而保证服务的可用性。

为保证通信安全，本文档先生成 x509 证书和私钥，kube-controller-manager 在如下两种情况下使用该证书：

  1. 与 kube-apiserver 的安全端口通信时;
  2. 在安全端口(https，10252) 输出 prometheus 格式的 metrics；

注意：如果没有特殊指明，本文档的所有操作均在 k8s-master1 节点上执行，然后远程分发文件和执行命令。

 

创建 kube-controller-manager 证书和私钥

创建证书签名请求：

cd /opt/k8s/work
cat > kube-controller-manager-csr.json <<EOF
{
    "CN": "system:kube-controller-manager",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "hosts": [
      "127.0.0.1",
      "192.168.161.150",
      "192.168.161.151",
      "192.168.161.152"
    ],
    "names": [
      {
        "C": "CN",
        "ST": "BeiJing",
        "L": "BeiJing",
        "O": "system:kube-controller-manager",
        "OU": "4Paradigm"
      }
    ]
}
EOF
  • hosts 列表包含所有 kube-controller-manager 节点 IP；
  • CN 为 system:kube-controller-manager、O 为 system:kube-controller-manager，kubernetes 内置的 ClusterRoleBindings system:kube-controller-manager 赋予 kube-controller-manager 工作所需的权限。

生成证书和私钥：

cd /opt/k8s/work
cfssl gencert -ca=/opt/k8s/work/ca.pem \
  -ca-key=/opt/k8s/work/ca-key.pem \
  -config=/opt/k8s/work/ca-config.json \
  -profile=kubernetes kube-controller-manager-csr.json | cfssljson -bare kube-controller-manager
ls kube-controller-manager*pem

将生成的证书和私钥分发到所有 master 节点：

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    scp kube-controller-manager*.pem root@${node_ip}:/etc/kubernetes/cert/
  done

 

 

创建和分发 kubeconfig 文件

kubeconfig 文件包含访问 apiserver 的所有信息，如 apiserver 地址、CA 证书和自身使用的证书；

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/k8s/work/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-controller-manager.kubeconfig

kubectl config set-credentials system:kube-controller-manager \
  --client-certificate=kube-controller-manager.pem \
  --client-key=kube-controller-manager-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-controller-manager.kubeconfig

kubectl config set-context system:kube-controller-manager \
  --cluster=kubernetes \
  --user=system:kube-controller-manager \
  --kubeconfig=kube-controller-manager.kubeconfig

kubectl config use-context system:kube-controller-manager --kubeconfig=kube-controller-manager.kubeconfig

分发 kubeconfig 到所有 master 节点：

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    scp kube-controller-manager.kubeconfig root@${node_ip}:/etc/kubernetes/
  done

创建和分发 kube-controller-manager systemd unit 文件

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
cat > kube-controller-manager.service <<EOF
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/GoogleCloudPlatform/kubernetes

[Service]
WorkingDirectory=${K8S_DIR}/kube-controller-manager
ExecStart=/opt/k8s/bin/kube-controller-manager \\
  --port=0 \\
  --secure-port=10252 \\
  --bind-address=127.0.0.1 \\
  --kubeconfig=/etc/kubernetes/kube-controller-manager.kubeconfig \\
  --authentication-kubeconfig=/etc/kubernetes/kube-controller-manager.kubeconfig \\
  --authorization-kubeconfig=/etc/kubernetes/kube-controller-manager.kubeconfig \\
  --service-cluster-ip-range=${SERVICE_CIDR} \\
  --cluster-name=kubernetes \\
  --cluster-signing-cert-file=/etc/kubernetes/cert/ca.pem \\
  --cluster-signing-key-file=/etc/kubernetes/cert/ca-key.pem \\
  --experimental-cluster-signing-duration=8760h \\
  --root-ca-file=/etc/kubernetes/cert/ca.pem \\
  --service-account-private-key-file=/etc/kubernetes/cert/ca-key.pem \\
  --leader-elect=true \\
  --controllers=*,bootstrapsigner,tokencleaner \\
  --horizontal-pod-autoscaler-use-rest-clients=true \\
  --horizontal-pod-autoscaler-sync-period=10s \\
  --tls-cert-file=/etc/kubernetes/cert/kube-controller-manager.pem \\
  --tls-private-key-file=/etc/kubernetes/cert/kube-controller-manager-key.pem \\
  --use-service-account-credentials=true \\
  --kube-api-qps=1000 \\
  --kube-api-burst=2000 \\
  --logtostderr=true \\
  --v=2
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target
EOF
  • --port=0：关闭监听 http /metrics 的请求，同时 --address 参数无效，--bind-address 参数有效；
  • --secure-port=10252、--bind-address=0.0.0.0: 在所有网络接口监听 10252 端口的 https /metrics 请求；
  • --kubeconfig：指定 kubeconfig 文件路径，kube-controller-manager 使用它连接和验证 kube-apiserver；
  • --authentication-kubeconfig 和 --authorization-kubeconfig：kube-controller-manager 使用它连接 apiserver，对 client 的请求进行认证和授权。kube-controller-manager 不再使用 --tls-ca-file 对请求 https metrics 的 Client 证书进行校验。如果没有配置这两个 kubeconfig 参数，则 client 连接 kube-controller-manager https 端口的请求会被拒绝(提示权限不足)。
  • --cluster-signing-*-file：签名 TLS Bootstrap 创建的证书；
  • --experimental-cluster-signing-duration：指定 TLS Bootstrap 证书的有效期；
  • --root-ca-file：放置到容器 ServiceAccount 中的 CA 证书，用来对 kube-apiserver 的证书进行校验；
  • --service-account-private-key-file：签名 ServiceAccount 中 Token 的私钥文件，必须和 kube-apiserver 的 --service-account-key-file 指定的公钥文件配对使用；
  • --service-cluster-ip-range ：指定 Service Cluster IP 网段，必须和 kube-apiserver 中的同名参数一致；
  • --leader-elect=true：集群运行模式，启用选举功能；被选为 leader 的节点负责处理工作，其它节点为阻塞状态；
  • --controllers=*,bootstrapsigner,tokencleaner：启用的控制器列表，tokencleaner 用于自动清理过期的 Bootstrap token；
  • --horizontal-pod-autoscaler-*：custom metrics 相关参数，支持 autoscaling/v2alpha1；
  • --tls-cert-file、--tls-private-key-file：使用 https 输出 metrics 时使用的 Server 证书和秘钥；
  • --use-service-account-credentials=true: kube-controller-manager 中各 controller 使用 serviceaccount 访问 kube-apiserver；

完整 unit 见 kube-controller-manager.service

分发 systemd unit 文件到所有 master 节点：

cd /opt/k8s/work
source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    scp kube-controller-manager.service root@${node_ip}:/etc/systemd/system/
  done

kube-controller-manager 的权限

ClusteRole: system:kube-controller-manager 的权限很小，只能创建 secret、serviceaccount 等资源对象，各 controller 的权限分散到 ClusterRole system:controller:XXX 中。

需要在 kube-controller-manager 的启动参数中添加 --use-service-account-credentials=true 参数，这样 main controller 会为各 controller 创建对应的 ServiceAccount XXX-controller。

内置的 ClusterRoleBinding system:controller:XXX 将赋予各 XXX-controller ServiceAccount 对应的 ClusterRole system:controller:XXX 权限。

启动 kube-controller-manager 服务

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do echo ">>> ${node_ip}" ssh root@${node_ip} "mkdir -p ${K8S_DIR}/kube-controller-manager" ssh root@${node_ip} "systemctl daemon-reload && systemctl enable kube-controller-manager && systemctl restart kube-controller-manager" done
  • 必须先创建日志目录；

检查服务运行状态

source /opt/k8s/bin/environment.sh
for node_ip in 192.168.161.150 192.168.161.151 192.168.161.152
  do
    echo ">>> ${node_ip}"
    ssh root@${node_ip} "systemctl status kube-controller-manager|grep Active"
  done

确保状态为 active (running)，否则查看日志，确认原因：

$ journalctl -u kube-controller-manager

 

 

查看输出的 metric

注意：以下命令在 kube-controller-manager 节点上执行。

kube-controller-manager 监听 10252 端口，接收 https 请求：

[root@k8s-master1 work]# sudo netstat -lnpt|grep kube-controll
tcp        0      0 127.0.0.1:10252         0.0.0.0:*               LISTEN      19176/kube-controll

 

 

测试 kube-controller-manager 集群的高可用

停掉一个或两个节点的 kube-controller-manager 服务，观察其它节点的日志，看是否获取了 leader 权限。

 

查看当前的 leader

kubectl get endpoints kube-controller-manager --namespace=kube-system  -o yaml


[root@k8s-master1 work]# kubectl get endpoints kube-controller-manager --namespace=kube-system  -o yaml
apiVersion: v1
kind: Endpoints
metadata:
  annotations:
    control-plane.alpha.kubernetes.io/leader: '{"holderIdentity":"k8s-master3_60147cc2-758e-11e9-8fcb-000c2956b313","leaseDurationSeconds":15,"acquireTime":"2019-05-13T14:49:56Z","renewTime":"2019-05-13T14:53:10Z","leaderTransitions":0}'
  creationTimestamp: 2019-05-13T14:49:56Z
  name: kube-controller-manager
  namespace: kube-system
  resourceVersion: "5106"
  selfLink: /api/v1/namespaces/kube-system/endpoints/kube-controller-manager
  uid: 6015837d-758e-11e9-89c6-000c2956b313
[root@k8s-master1 work]# kubectl get endpoints kube-controller-manager --namespace=kube-system  -o yaml
apiVersion: v1
kind: Endpoints
metadata:
  annotations:
    control-plane.alpha.kubernetes.io/leader: '{"holderIdentity":"k8s-master1_60ab86f0-758e-11e9-931c-000c29aa0a68","leaseDurationSeconds":15,"acquireTime":"2019-05-13T14:53:37Z","renewTime":"2019-05-13T14:53:39Z","leaderTransitions":1}'
  creationTimestamp: 2019-05-13T14:49:56Z
  name: kube-controller-manager
  namespace: kube-system
  resourceVersion: "5116"
  selfLink: /api/v1/namespaces/kube-system/endpoints/kube-controller-manager
  uid: 6015837d-758e-11e9-89c6-000c2956b313

 

可见，当前的 leader 从master3切到了master1 节点。

转载于:https://www.cnblogs.com/gytangyao/p/10859361.html

weixin_30682415
关注
二进制方式安装k8s-部署kube-controller-manager
互联网老辛
03-26 2501
文章目录1. 创建配置文件2. systemd管理controller-manager3. 启动并设置开机启动 注意： 阅读本文前，请确保已经看过以下文章： 学习k8s必看：在下载相关资源的时候出现无法解析到主机地址的情况 二进制方式搭建kubernetes集群搭建步骤 二进制安装k8s-部署etcd集群 二进制方式搭建kubernetes集群-部署master组件 这篇文章开始，我们要安装kube-controller-manager 1. 创建配置文件 cat > /opt/kubernete
K8S更换控制面节点
qq_23402607的博客
01-27 2773
更换控制面节点记录。 从集群中剔除控制面节点（包括etcd中的记录，否则再加入普通节点或控制面节点均会异常） 删除控制面节点相关信息 修改集群配置更改原控制面节点ip等信息为新加入节点信息 加入新的节点作为控制面节点 一、从集群中剔除控制面节点（包括etcd中的记录，否则再加入普通节点或控制面节点均会异常） # 删除节点 kubectl drain master1 --delete-emptydir-data --force --ignore-daemonsets
k8s 托管控制层面—— Kamaji
qq_42895490的博客
06-16 597
在日常工作中，公司内部的私有环境中免不了为每个团队，在不同的环境创建一个或多个 Kubernetes 集群，每次创建都需要从虚拟机的选型开始准备，然后到操作系统配置，软件安装，最后到集群初始化等等多个步骤。而如果使用公有云服务，直接使用如像 EKS、ACK、AKS 和 GKE 时，集群可以直接初始化好一个高可用的控制层面，我们只需要添加一个或多个工作节点，用来处理我们业务需要即可。照着这个思路，我们找到了开源项目 Kamaji，一个可以实现 Controller AS Service 的工具。
kube-controller-manager只有1个工作
最新发布
喝醉酒的小白
08-30 141
*在部署时，kube-controller-manager通常与kube-apiserver和kube-scheduler部署在同一台机器上，以确保它们之间的通信和协调。它是一个守护进程，内嵌在Kubernetes中，通过与kube-apiserver交互来监控集群的状态，并确保集群运行在期望的状态。总的来说，kube-controller-manager是Kubernetes集群中不可或缺的组件，它通过管理和维护集群资源的状态，确保集群的健康和稳定运行。
Kubernetes 架构基础 核心控制平面组件
小楼一夜听春雨，深巷明朝卖杏花
12-27 2395
Kubernetes 核心架构 与传统的高性能计算及虚拟化云平台类似，Kubernetes 也遵循主从结构。通常将固定规模的计算节点组成一个集群，在集群中挑选数台计算节点作为管理节点（Master），其余的计算节点作为工作节点（Minion）。针对较大规模的集群，建议将独占节点作为管理节点，而针对较小规模的集群，可以将管理节点和工作节点混用。 如图所示，管理节点和非管理节点的区别是，管理节点上运行的是控制平面组件 ，而工作节点运行的是用户业务。Kubernetes 还拥有各种功能插件，例如监
Kubernetes 控制平面组件：etcd
一点一滴铺就人生
08-21 1671
基于Raft协议的kubernetes高性能键值对数据库！
k8s 架构
fofcn的专栏
04-14 888
想要学习k8s的使用还是有必要学习一下k8s的架构。文章这个图是官网上k8s的架构图，这个架构展示了所有k8s的组件。Kubernetes架构可以分为两个主要部分：控制平面（Control Plane）和数据平面（Data Plane）。控制平面和数据平面简单理解就是老板和员工的关系。老板负责指挥怎么干，员工就根据智慧干。也可以拆开来理解。是Kubernetes的大脑，负责集群的整体管理和协调。
kube-controller-manager:kube-controller-manager组件配置
05-15
Kube控制器经理 目的 ... 这些是从k8s.io/kubernetes/staging/src/k8s.io/kube-controller-manager驱动的。 期望兼容性。 这个回购正在快速变化，以直接支持Kubernetes和kube-controller-manager A
k8s之kube-controller-manager
11-03
kube-controller-manager是k8s控制平面的一个进程，它包含了多个控制器，如ReplicaSet控制器、节点控制器、服务账户和令牌控制器等。这些控制器各自负责处理不同的集群状态调整任务，确保k8s集群能够按照预定的策略...
【实战加详解】二进制部署k8s高可用集群系列教程八 - 部署 kube-controller
JohnYang's CSDN Home
10-12 609
实战加详解 - 完美解决二进制部署k8s高可用集群中ssl证书以及TLS Bootstrap机制的问题
K8s系列之：认识k8s各个服务模块etcd、kube-apiserver、kube-controller-manager、kube-scheduler、kubelet和kube-proxy服务
zhengzaifeidelushang的博客
01-17 1604
K8s系列之：认识k8s各个服务模块etcd、kube-apiserver、kube-controller-manager、kube-scheduler、kubelet和kube-proxy服务一、K8s服务二、etcd服务三、kube-apiserver服务四、kube-controller-manager服务五、kube-scheduler服务六、kubelet服务七、kube-proxy服务八、K8s的Master和Node关系 K8s中的Node、Pod、Replication Controller
kube-vip：Kubernetes控制平面虚拟IP和负载均衡器
02-04
kube-vip 高可用性和负载平衡 总览 用于控制平面和Kubernetes服务的Kubernetes虚拟IP和负载均衡器 kube-vip背后的想法是一个针对所有环境的小型独立的高度可用选项，尤其是： 裸机 Edge（手臂/ Raspberry PI） 虚拟化 几乎其他任何地方:) 注意现在可以在获得有关用法和体系结构的所有文档。 产品特点 Kube-Vip最初是为Kubernetes控制平面提供HA解决方案而创建的，随着时间的流逝，它已经演变为将相同功能整合到Kubernetes服务类型。 使用ARP（第2层）或BGP（第3层）的控制平面 使用或控制飞机 带kubeadm的控制
k8s指南-概述
xiaoyi52的专栏
12-04 1170
Kubernetes是一个可移植的，可扩展的开源平台，用于管理容器化的工作负载和服务，为声明式配置和自动化带来了巨大便利。它拥有着巨大而快速增长的生态系统，其相关的服务和工具得到了广泛的应用。
k8s部署单控制平面集群（一）
qq_41644959的博客
09-02 736
部署单控制平面集群 1. 基础环境准备 1.1 硬件准备 1.2 系统环境配置 1.3 Docker环境准备 1.4 kubeadm环境准备 2.创建单控制平面集群 2.1 初始化集群 2.2 kubectl配置文件 2.3 kubectl参数自动补全 2.4 Kubernetes网络 2.5 Nodes资源管理 2.5.1 添加Node节点 2.5.2 删除Node节点 3. 验证 1.基础环...
Kubernetes控制平面组件：Controller-Manager控制器管理
一点一滴铺就人生
09-04 1212
控制器是Kubernetes的代码核心设计模式
Kubernetes控制平面组件：API Server
一点一滴铺就人生
08-28 2277
Kubernetes的中枢神经
k8s--基本架构--节点与控制平面之间的通信
IT艺术家-rookie的博客
09-23 314
记录了API服务器和Kubernetes集群之间的通信路径。其是允许用户自定义安装，以加固网络配置，从而使集群能够在不受信任的网络上运行（或在云提供商上的完全公共IP上运行）。简单来说，这篇文档描述了Kubernetes中控制平面（Control Plane）和节点之间的通信方式。控制平面，用于管理和控制整个集群。节点则是集群中运行实际工作负载的主机。：API服务器是，通过API服务器可以对集群进行各种操作。它需要与节点进行通信，以便获取节点的状态、分配任务、监控节点健康状况等。
Kubernetes(k8s) 架构设计
纸上得来终觉浅，绝知此事要躬行
04-29 640
目录 节点 管理 节点自注册 手动节点管理 节点状态 地址 状况 容量与可分配 信息 节点控制器 节点容量 节点拓扑 节点体面关闭 接下来 控制面到节点通信 节点到控制面 控制面到节点 API 服务器到 kubelet apiserver 到节点、Pod 和服务 SSH 隧道 Konnectivity 服务 控制器 控制器模式 通过 API 服务器来控制 直接控制 期望状态与当前状态 设计 运行控制器的方式 接下来 云控制器管理器的基础概念 设计
k8s学习笔记（二）：k8s的组件介绍
qq_57629230的博客
06-22 1681
k8s组件的详细介绍，让你对其有一个更清晰的认知！
深入探究Kubernetes的kube-controller-manager组件
资源摘要信息:"k8s之kube-controller-manager" 在深入探讨kube-controller-manager之前，首先需要了解Kubernetes（简称k8s）的基础知识。Kubernetes是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值