k8s学习笔记-部署node节点

最新推荐文章于 2023-05-12 14:05:24 发布
最新推荐文章于 2023-05-12 14:05:24 发布
阅读量2.9k 收藏 1
点赞数
分类专栏： K8S
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/snipercai/article/details/101023651
版权

主机列表

本次实验选择5台主机，3台作为master主机，2台作为node节点

节点ipOS版本hostname -f安装软件
192.168.0.1RHEL7.4k8s-master01docker,etcd,flanneld,kube-apiserver,kube-controller-manager,kube-scheduler
192.168.0.2RHEL7.4k8s-master02docker,etcd,flanneld,kube-apiserver,kube-controller-manager,kube-scheduler
192.168.0.3RHEL7.4k8s-master03docker,etcd,flanneld,kube-apiserver,kube-controller-manager,kube-scheduler
192.168.0.4RHEL7.4k8s-node01docker,flanneld,kubelet,kube-proxy
192.168.0.5RHEL7.4k8s-node02docker,flanneld,kubelet,kube-proxy

kubernetes Node 节点包含如下组件：

  • kubelet
  • kube-proxy

安装和配置kubelet

  • kubelet行在Node节点上，接收kube-apiserver发送的请求，管理Pod容器，执行交互式命令，如exec、run、logs等
  • 允许把Master节点也用作Node节点，可以在Master节点上安装
  • kublet 启动时自动向 kube-apiserver 注册节点信息，内置的 cadvisor 统计和监控节点的资源使用情况;

下载解压二进制文件（k8s-master）

# wget https://dl.k8s.io/v1.15.3/kubernetes-server-linux-amd64.tar.gz 
# tar xf kubernetes-server-linux-amd64.tar.gz

# cd kubernetes/server/bin/
# cp kubelet  kube-proxy  /k8s/kubernetes/bin/
# scp kubelet kube-proxy 192.168.0.4:/k8s/kubernetes/bin/
# scp kubelet kube-proxy 192.168.0.5:/k8s/kubernetes/bin/

创建token（k8s-master）

 

kubeadm token create --description kubelet-bootstrap-token --groups system:bootstrappers:k8s-master1 --kubeconfig ~/.kube/config
kubeadm token create --description kubelet-bootstrap-token --groups system:bootstrappers:k8s-master2 --kubeconfig ~/.kube/config
kubeadm token create --description kubelet-bootstrap-token --groups system:bootstrappers:k8s-master3 --kubeconfig ~/.kube/config

 查看 kubeadm 为各节点创建的 token（k8s-master）

# kubeadm token list --kubeconfig ~/.kube/config

 创建bootstrap kubeconfig（k8s-master）

kubectl config set-cluster kubernetes --certificate-authority=/k8s/kubernetes/ssl/ca.pem --embed-certs=true --server=https://192.168.0.3:6443 --kubeconfig=bootstrap.kubeconfig
kubectl config set-credentials kubelet-bootstrap --token=j53og3.p7bdy6ezasrlbszg --kubeconfig=bootstrap.kubeconfig
kubectl config set-context default --cluster=kubernetes --user=kubelet-bootstrap --kubeconfig=bootstrap.kubeconfig
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig    

  • --embed-certs 为 true 时表示将 certificate-authority 证书写入到生成的 bootstrap.kubeconfig 文件中；
  • 各节点用各节点的token生成证书，替换上面红字部分为对应节点的token
  • 设置 kubelet 客户端认证参数时没有指定秘钥和证书，后续由 kube-apiserver 自动生成；
  • 创建的 token 有效期为 1 天，超期后将不能再被使用，且会被 kube-controller-manager 的 tokencleaner 清理(如果启用该 controller 的话)；
  • kube-apiserver 接收 kubelet 的 bootstrap token 后，将请求的 user 设置为 system:bootstrap:，group 设置为 system:bootstrappers；

Bootstrap Token Auth和授予权限（k8s-master）

kubelet 启动时向kube-apiserver 发送TLS bootstrapping 请求，需要先将bootstrap token 文件中的kubelet-bootstrap 用户赋予system:node-bootstrapper 角色，然后kubelet 才有权限创建认证请求certificatesigningrequests

# kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --group=system:bootstrappers
clusterrolebinding.rbac.authorization.k8s.io/kubelet-bootstrap created

如不配置可能出现报错：
failed to run Kubelet: cannot create certificate signing request: certificatesigningrequests.certificates.k8s.io is forbidden: User "kubelet-bootstrap" cannot create resource "certificatesigningrequests" in API group "certificates.k8s.io" at the cluster scope

#查看kubelet-bootstrap绑定信息
# kubectldescribe clusterrolebinding kubelet-bootstrap
#删除kubelet-bootstrap绑定信息
# kubectl delete clusterrolebinding kubelet-bootstrap

 

创建 kubelet 参数配置模板文件（k8s-node）

cat << EOF >  /k8s/kubernetes/cfg/kubelet.config
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 192.168.0.4
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS: ["101.254.0.2"]
clusterDomain: cluster.local.
failSwapOn: false
authentication:
  anonymous:
    enabled: true
EOF

 提示：其他node节点参照配置，修改对应红字部分的地址即可

创建kubelet配置文件（k8s-node）

cat << EOF > /k8s/kubernetes/cfg/kubelet
KUBELET_OPTS="--logtostderr=true \
--v=4 \
--hostname-override=192.168.0.4 \
--kubeconfig=/k8s/kubernetes/cfg/kubelet.kubeconfig \
--bootstrap-kubeconfig=/k8s/kubernetes/cfg/bootstrap.kubeconfig \
--config=/k8s/kubernetes/cfg/kubelet.config \
--cert-dir=/k8s/kubernetes/ssl \
--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0"
EOF

 提示：其他node节点参照配置，修改对应红字部分的地址即可 

创建kubelet systemd unit 文件（k8s-node）

cat << EOF > /usr/lib/systemd/system/kubelet.service 

[Unit]
Description=Kubernetes Kubelet
After=docker.service
Requires=docker.service

[Service]
EnvironmentFile=/k8s/kubernetes/cfg/kubelet
ExecStart=/k8s/kubernetes/bin/kubelet \$KUBELET_OPTS
Restart=on-failure
KillMode=process

[Install]
WantedBy=multi-user.target    
EOF

分发文件（k8s-node）

scp /k8s/kubernetes/cfg/kubelet* 192.168.0.5:/k8s/kubernetes/cfg/
scp /lib/systemd/system/kubelet.service 192.168.0.5:/lib/systemd/system/kubelet.service 

其他节点需要修改对应的address和hostname-override地址

启动kubelet（k8s-node）

systemctl daemon-reload
systemctl enable kubelet
systemctl restart kubelet
systemctl status kubelet

提示：启动必须关闭swap，不然会报错“[ERROR Swap]: running with swap on is not supported. Please disable swap” 

通过kubelet 的TLS 证书请求（k8s-master）

kubelet 首次启动时向kube-apiserver 发送证书签名请求，必须通过后kubernetes 系统才会将该 Node 加入到集群。

手工通过请求（k8s-master）

#查看未授权的CSR 请求
# kubectl get csr
NAME                                                   AGE   REQUESTOR                 CONDITION
node-csr-puQ6ol8tyJt1g_zXZLWEh7NjnTyDCKZE_qBbRPBFiCk   56s   system:bootstrap:q3sb4h   Pending

# kubectl get nodes
No resources found.    

#通过CSR 请求：
# kubectl certificate approve node-csr-puQ6ol8tyJt1g_zXZLWEh7NjnTyDCKZE_qBbRPBFiCk
certificatesigningrequest.certificates.k8s.io/node-csr-puQ6ol8tyJt1g_zXZLWEh7NjnTyDCKZE_qBbRPBFiCk approved
 
# kubectl get csr  
NAME                                                   AGE     REQUESTOR                 CONDITION
node-csr-puQ6ol8tyJt1g_zXZLWEh7NjnTyDCKZE_qBbRPBFiCk   2m18s   system:bootstrap:q3sb4h   Approved,Issued

# kubectl get nodes
NAME           STATUS     ROLES    AGE   VERSION
10.124.3.104   NotReady   <none>   0s    v1.15.0

#查看详情
# kubectl describe csr node-csr-puQ6ol8tyJt1g_zXZLWEh7NjnTyDCKZE_qBbRPBFiCk
Name:               node-csr-puQ6ol8tyJt1g_zXZLWEh7NjnTyDCKZE_qBbRPBFiCk
Labels:             <none>
Annotations:        <none>
CreationTimestamp:  Wed, 18 Sep 2019 22:54:27 +0800
Requesting User:    system:bootstrap:q3sb4h
Status:             Approved,Issued
Subject:
         Common Name:    system:node:10.124.3.104
         Serial Number:  
         Organization:   system:nodes
Events:  <none>

自动approve csr请求（k8s-master）

创建三个 ClusterRoleBinding，分别用于自动 approve client、renew client、renew server 证书：

cat > csr-crb.yaml <<EOF
# Approve all CSRs for the group "system:bootstrappers"
 kind: ClusterRoleBinding
 apiVersion: rbac.authorization.k8s.io/v1
 metadata:
   name: auto-approve-csrs-for-group
 subjects:
 - kind: Group
   name: system:bootstrappers
   apiGroup: rbac.authorization.k8s.io
 roleRef:
   kind: ClusterRole
   name: system:certificates.k8s.io:certificatesigningrequests:nodeclient
   apiGroup: rbac.authorization.k8s.io
---
 # To let a node of the group "system:nodes" renew its own credentials
 kind: ClusterRoleBinding
 apiVersion: rbac.authorization.k8s.io/v1
 metadata:
   name: node-client-cert-renewal
 subjects:
 - kind: Group
   name: system:nodes
   apiGroup: rbac.authorization.k8s.io
 roleRef:
   kind: ClusterRole
   name: system:certificates.k8s.io:certificatesigningrequests:selfnodeclient
   apiGroup: rbac.authorization.k8s.io
---
# A ClusterRole which instructs the CSR approver to approve a node requesting a
# serving cert matching its client cert.
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: approve-node-server-renewal-csr
rules:
- apiGroups: ["certificates.k8s.io"]
  resources: ["certificatesigningrequests/selfnodeserver"]
  verbs: ["create"]
---
 # To let a node of the group "system:nodes" renew its own server credentials
 kind: ClusterRoleBinding
 apiVersion: rbac.authorization.k8s.io/v1
 metadata:
   name: node-server-cert-renewal
 subjects:
 - kind: Group
   name: system:nodes
   apiGroup: rbac.authorization.k8s.io
 roleRef:
   kind: ClusterRole
   name: approve-node-server-renewal-csr
   apiGroup: rbac.authorization.k8s.io
EOF

  • auto-approve-csrs-for-group：自动 approve node 的第一次 CSR； 注意第一次 CSR 时，请求的 Group 为 system:bootstrappers；
  • node-client-cert-renewal：自动 approve node 后续过期的 client 证书，自动生成的证书 Group 为 system:nodes;
  • node-server-cert-renewal：自动 approve node 后续过期的 server 证书，自动生成的证书 Group 为 system:nodes;

#生效配置
# kubectl apply -f csr-crb.yaml
clusterrolebinding.rbac.authorization.k8s.io/auto-approve-csrs-for-group created
clusterrolebinding.rbac.authorization.k8s.io/node-client-cert-renewal created
clusterrole.rbac.authorization.k8s.io/approve-node-server-renewal-csr created
clusterrolebinding.rbac.authorization.k8s.io/node-server-cert-renewal created

查看kubelet服务（k8s-node）

# netstat -lnpt|grep kubelet
tcp        0      0 127.0.0.1:39037         0.0.0.0:*               LISTEN      18584/kubelet       
tcp        0      0 127.0.0.1:10248         0.0.0.0:*               LISTEN      18584/kubelet       
tcp        0      0 10.124.3.105:10250      0.0.0.0:*               LISTEN      18584/kubelet       
tcp        0      0 10.124.3.105:10255      0.0.0.0:*               LISTEN      18584/kubelet

  • 39037: cadvisor http 服务；
  • 10248: healthz http 服务；
  • 10250: https API 服务；
  • 10255：只读端口

配置kube-proxy（k8s-master）

kube-proxy 运行在所有 node节点上，它监听 apiserver 中 service 和 Endpoint 的变化情况，创建路由规则来进行服务负载均衡。

创建kube-proxy 证书签名请求（k8s-master）

cat > kube-proxy-csr.json <<EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF    

  • kube-apiserver 预定义的 RoleBinding system:node-proxier 将User system:kube-proxy 与 Role system:node-proxier绑定，该 Role 授予了调用 kube-apiserver Proxy 相关 API 的权限

生成kube-proxy 客户端证书和私钥（k8s-master）

# cfssl gencert -ca=/k8s/kubernetes/ssl/ca.pem -ca-key=/k8s/kubernetes/ssl/ca-key.pem -config=/k8s/kubernetes/ssl/ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy    

# ls kube-proxy*
kube-proxy.csr  kube-proxy-csr.json  kube-proxy-key.pem  kube-proxy.pem

# cp kube-proxy*.pem /k8s/kubernetes/ssl/
# scp kube-proxy*.pem 192.168.0.4:/k8s/kubernetes/ssl/
# scp kube-proxy*.pem 192.168.0.5:/k8s/kubernetes/ssl/

创建kube-proxy kubeconfig 文件（k8s-master）

kubectl config set-cluster kubernetes --certificate-authority=/k8s/kubernetes/ssl/ca.pem --embed-certs=true --server=https://192.168.0.1:6443 --kubeconfig=kube-proxy.kubeconfig
kubectl config set-credentials kube-proxy --client-certificate=/k8s/kubernetes/ssl/kube-proxy.pem --client-key=/k8s/kubernetes/ssl/kube-proxy-key.pem --embed-certs=true --kubeconfig=kube-proxy.kubeconfig
kubectl config set-context default --cluster=kubernetes --user=kube-proxy --kubeconfig=kube-proxy.kubeconfig
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig    

# 将kube-proxy kubeconfig文件拷贝到所有 nodes节点
cp kube-proxy.kubeconfig /k8s/kubernetes/cfg/
scp kube-proxy.kubeconfig 192.168.0.4:/k8s/kubernetes/cfg/
scp kube-proxy.kubeconfig 192.168.0.5:/k8s/kubernetes/cfg/

创建 kube-proxy 配置文件（k8s-node）

cat << EOF > /k8s/kubernetes/cfg/kube-proxy
KUBE_PROXY_OPTS="--logtostderr=true \
--v=4 \
--hostname-override=192.168.0.4 \
--cluster-cidr=101.254.0.0/16 \
--kubeconfig=/k8s/kubernetes/cfg/kube-proxy.kubeconfig"    
EOF

  • --cluster-cidr 必须与 kube-apiserver 的 --service-cluster-ip-range 选项值一致

创建kube-proxy systemd unit 文件（k8s-node）

cat << EOF > /lib/systemd/system/kube-proxy.service
[Unit]
Description=Kubernetes Proxy
After=network.target

[Service]
EnvironmentFile=-/k8s/kubernetes/cfg/kube-proxy
ExecStart=/k8s/kubernetes/bin/kube-proxy \$KUBE_PROXY_OPTS
Restart=on-failure

[Install]
WantedBy=multi-user.target    
EOF

启动kube-proxy 服务（k8s-node）

systemctl daemon-reload
systemctl enable kube-proxy
systemctl restart kube-proxy
systemctl status kube-proxy

snipercai
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
k8s集群部署四：node节点组件部署
lyzkks的博客
04-15 8104
以下操作均在node节点上进行 从master上拷贝kubeconfig文件到node节点 scp /root/ssl/*kubeconfig 10.10.99.233:/opt/kubernetes/cfg/ scp /root/ssl/*kubeconfig 10.10.99.228:/opt/kubernetes/cfg/ 下载并安装node节点组件 下载二进制软...
K8s二进制安装文档--部署master节点.txt
07-27
K8s二进制安装文档--部署master节点.txt
K8S二进制安装--node节点部件kubelete和kube-proxy.txt
07-27
K8S二进制安装--node节点部件kubelete和kube-proxy.txt
k8s TLS bootstrap解析-k8s TLS bootstrap流程分析
良凯尔的博客
04-04 2211
k8s TLS bootstrap功能就是让kubelet先使用一个预先商定好的低权限的bootstrap token连接到kube-apiserver，向kube-apiserver申请证书，然后kube-controller-manager给kubelet动态签署证书，后续kubelet都将通过动态签署的证书与kube-apiserver通信。
error: failed to run Kubelet: cannot create certificate signing request
IvyXYW的博客
04-14 2862
问题 error: failed to run Kubelet: cannot create certificate signing request: certificatesigningrequests.certificates.k8s.io is forbidden: User "kubelet-bootstrap" cannot create certificatesigningrequests.certificates.k8s.io at the cluster scope 原因 kubelet-
cannot create certificate signing request: certificatesigningrequests.certificates.k8s.io is forbidd
生命只有一次
11-24 3627
这里可能会有个报错导致启动失败：error: failed to run Kubelet: cannot create certificate signing request: certificatesigningrequests.certificates.k8s.io is forbidden: User "kubelet-bootstrap" cannot create certificate...
《Kubernetes证书篇：使用TLS bootstrapping简化kubelet证书制作》
东城绝神
05-12 2075
《Kubernetes证书篇：使用TLS bootstrapping简化kubelet证书制作》
【错误解决】kubectl权限不够，报错：User “kubernetes“ cannot create resource “clusterrolebindings“ in API group “rb
weixin_42072280的博客
03-11 7690
错误： kubectl --server=https://192.168.56.169:6443 create clusterrolebinding kubernetes --clusterrole=cluster-admin --user=kubernetes 报错信息： error: failed to create clusterrolebinding: clusterrolebindings.rbac.authorization.k8s.io is forbidden: User "kubern
kubernetes容器集群管理（3）-Kubeconfig 部署TLS Bootstrapping
一别两宽丶各生欢喜
02-29 1193
1、TLS Bootstrapping一些理解 如果对 TLS Bootstrapping 完全没接触过推荐： https://blog.csdn.net/paopaohll/article/details/89022920 众所周知 TLS 的作用就是对通讯加密，防止中间人窃听；同时如果证书不信任的话根本就无法与 apiserver建立连接，更不用提有没有权限向 apiserver 请求指定...
kubernetes/k8s之master和node单节点的部署
zhang_yazhou的博客
09-30 932
kubernetes之单节点的部署 文章目录kubernetes之单节点的部署一、项目环境二、master组件的部署【1】生成api-server证书（1）ca证书配置（2）ca证书签名（3）ca证书的生成（4）服务端证书生成（5）客户端代理证书生成（6）管理账户证书生成（7）查看证书是否存在【2】拷贝证书到/opt/kubernetes/ssl/下【3】解压kubernetes压缩包，拷贝kube-apiserver kubectl kube-controller-manager kube-schedul
全手动搭建Kubernetes集群——Master管理节点和Node工作节点部署
Dorte_AZ的博客
04-22 4594
配置k8s集群Master管理节点和Node工作节点的组件
凝思系统-k8s部署笔记-nginx-mysql（内网环境）.pdf
09-09
k8s+docker部署nginx+mysql笔记记录适合内网环境，网上很多配置文件是错的，我这个实验了很多次，吃了很多亏。终于成功部署。
Docker学习笔记之k8s部署方法
01-10
k8s-node1 192.168.0.202 minion k8s-node2 192.168.0.203 minion 准备工作系统 安装Ubuntu 14.04 LTS 64bit server版本系统，配置好hostname和ip。 在更新国内的软件源的时候，由于GFW的原因，经常会出现md5校验...
k8s单节点集群-kind部署
09-10
方便快速简单的搭建一套k8s的测试和开发环境！ 脚本部署具体步骤： 1. 安装docker, 加载部署所需的镜像kind_node 2. 安装kind所需的go语言环境，kind 工具，kubectl工具 3. 自动配置好环境变量 4. kind创建集群，...
k8s学习笔记-部署ETCD3.4集群
snipercai的博客
09-19 8012
主机列表 本次实验选择5台主机，3台作为master主机，2台作为node节点 节点ip OS版本 hostname -f 安装软件 192.168.0.1 RHEL7.4 k8s-master01 docker,etcd,flanneld,kube-apiserver,kube-controller-manager,kube-scheduler 1...
k8s学习笔记-部署Flannel网络
snipercai的博客
09-19 4669
主机列表 本次实验选择5台主机，3台作为master主机，2台作为node节点 节点ip OS版本 hostname -f 安装软件 192.168.0.1 RHEL7.4 k8s-master01 docker,etcd,flanneld,kube-apiserver,kube-controller-manager,kube-scheduler 1...
k8s学习笔记-创建CA 证书和密钥
snipercai的博客
09-19 2452
主机列表 本次实验选择5台主机，3台作为master主机，2台作为node节点 节点ip OS版本 hostname -f 安装软件 192.168.0.1 RHEL7.4 k8s-master01 docker,etcd,flanneld,kube-apiserver,kube-controller-manager,kube-scheduler 1...
k8s学习笔记-部署master节点
snipercai的博客
09-19 689
主机列表 本次实验选择5台主机，3台作为master主机，2台作为node节点 节点ip OS版本 hostname -f 安装软件 192.168.0.1 RHEL7.4 k8s-master01 docker,etcd,flanneld,kube-apiserver,kube-controller-manager,kube-scheduler 1...
把正在k8s-node1节点上运行的名为apache-pod的pod扩容到k8s-node2节点，让k8s-node1和k8s-node2他们两个pod同时运行
最新发布
06-13
要将正在 k8s-node1 节点上运行的名为 apache-pod 的 pod 扩容到 k8s-node2 节点，并同时在这两个节点上运行 pod，请按照以下步骤操作： 1. 创建一个 deployment，指定 pod 的副本数为 2，并使用 nodeSelector 将这...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

snipercai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值