内容概要
- 一、部署Master组件
- 1、上传master.zip和k8s-cert.sh到 /opt/k8s 目录中,解压master.zip压缩包
- 2、创建kubernetes工作目录
- 3、创建用于生成CA证书、相关组件的证书和私钥的目录
- 4、复制CA证书、apiserver相关证书和私钥到kubernetes工作目录的ssl目录中
- 5、上传 kubernetes-server-linux-amd64.tar.gz到/opt/k8s/目录中,解压 kubernetes压缩包
- 6、复制master组件的关键命令文件到kubernetes工作目录的 bin子目录中
- 7、创建bootstrap token认证文件
- 8、准备启动api-server
- 9、启动scheduler服务
- 10、启动controller-manager服务
- 11、查看Master节点状态
- 二、部署node组件
- 6、使用Kubelet.sh脚本启动kubelet服务
以下操作都是接上一篇操作继续的
二进制部署Kubernetes集群(单Master节点)---------半成品,只部署了 etcd 和 flannel
一、部署Master组件
Master节点上操作
1、上传master.zip和k8s-cert.sh到 /opt/k8s 目录中,解压master.zip压缩包
unzip master.zip
chmod +x *.sh
2、创建kubernetes工作目录
mkdir -p /opt/kubernetes/{cfg,bin,ssl}
3、创建用于生成CA证书、相关组件的证书和私钥的目录
制作k8s-cert.sh脚本
vim k8s-cert.sh
#!/bin/bash
#配置证书生成策略,让 CA 软件知道颁发有什么功能的证书,生成用来签发其他组件证书的根证书
cat > ca-config.json <<EOF
{
"signing": {
"default": {
"expiry": "87600h"
},
"profiles": {
"kubernetes": {
"expiry": "87600h",
"usages": [
"signing",
"key encipherment",
"server auth",
"client auth"
]
}
}
}
}
EOF
#生成CA证书和私钥(根证书和私钥)
cat > ca-csr.json <<EOF
{
"CN": "kubernetes",
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"L": "Beijing",
"ST": "Beijing",
"O": "k8s",
"OU": "System"
}
]
}
EOF
cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
#-----------------------
#生成 apiserver 的证书和私钥(apiserver和其它k8s组件通信使用)
#hosts中将所有可能作为 apiserver 的 ip 添加进去,后面 keepalived 使用的 VIP 也要加入
cat > apiserver-csr.json <<EOF
{
"CN": "kubernetes",
"hosts": [
"10.0.0.1",
"127.0.0.1",
"192.168.73.188", #master01
"192.168.73.66", #master02
"192.168.73.100", #vip,后面 keepalived 使用
"192.168.73.168.", #load balancer01(master)
"192.168.73.55", #load balancer02(backup)
"kubernetes",
"kubernetes.default",
"kubernetes.default.svc",
"kubernetes.default.svc.cluster",
"kubernetes.default.svc.cluster.local"
],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"L": "BeiJing",
"ST": "BeiJing",
"O": "k8s",
"OU": "System"
}
]
}
EOF
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes apiserver-csr.json | cfssljson -bare apiserver
#-----------------------
#生成 kubectl 的证书和私钥,具有admin权限
cat > admin-csr.json <<EOF
{
"CN": "admin",
"hosts": [],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"L": "BeiJing",
"ST": "BeiJing",
"O": "system:masters",
"OU": "System"
}
]
}
EOF
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin
#-----------------------
#生成 kube-proxy 的证书和私钥
cat > kube-proxy-csr.json <<EOF
{
"CN": "system:kube-proxy",
"hosts": [],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"L": "BeiJing",
"ST": "BeiJing",
"O": "k8s",
"OU": "System"
}
]
}
EOF
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy
mkdir /opt/k8s/k8s-cert
mv /opt/k8s/k8s-cert.sh /opt/k8s/k8s-cert
cd /opt/k8s/k8s-cert/
chmod +x *
vim k8s-cert.sh
./k8s-cert.sh
ls *.pem
4、复制CA证书、apiserver相关证书和私钥到kubernetes工作目录的ssl目录中
cp ca*pem apiserver*pem /opt/kubernetes/ssl/
5、上传 kubernetes-server-linux-amd64.tar.gz到/opt/k8s/目录中,解压 kubernetes压缩包
tar zxvf kubernetes-server-linux-amd64.tar.gz
6、复制master组件的关键命令文件到kubernetes工作目录的 bin子目录中
cd /opt/k8s/kubernetes/server/bin/
cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/
ln -s /opt/kubernetes/bin/* /usr/local/bin/
7、创建bootstrap token认证文件
head -c 16 /dev/urandom | od -An -t x | tr -d ' '
859e0910d406b566d2d7f95f2e8f90a7
vim /opt/kubernetes/cfg/token.csv
859e0910d406b566d2d7f95f2e8f90a7,kubelet-bootstrap,10001,"system:kubelet-bootstrap"
8、准备启动api-server
./apiserver.sh 192.168.73.188 https://192.168.73.188:2379,https://192.168.73.88:2379,https://192.168.73.166:2379
systemctl status kube-apiserver.service
netstat -natp | grep 6443
netstat -natp | grep 8080
9、启动scheduler服务
cd /opt/k8s/
./scheduler.sh 127.0.0.1
10、启动controller-manager服务
cd /opt/k8s/
./controller-manager.sh 127.0.0.1
11、查看Master节点状态
kubectl get componentstatuses
二、部署node组件
先在Master节点上操作
把kubelet和kube-proxy拷贝到node节点
cd /opt/k8s/kubernetes/server/bin
scp kubelet kube-proxy root@192.168.73.88:/opt/kubernetes/bin/
scp kubelet kube-proxy root@192.168.73.166:/opt/kubernetes/bin/
在node01节点上操作
上传node.zip 到/opt目录中,解压 node.zip压缩包,获得kubelet.sh、proxy.sh
unzip node.zip
在Master节点上操作
1、创建用于生成kubelet的配置文件的目录
mkdir /opt/k8s/kubeconfig
2、上传kubeconfig.sh文件到/opt/k8s / kubeconfig目录中
cd /opt/k8s/kubeconfig
vim kubeconfig.sh
#!/bin/bash
#example: kubeconfig 192.168.73.188 /opt/k8s/k8s-cert/
#创建bootstrap.kubeconfig文件
#该文件中内置了 token.csv 中用户的 Token,以及 apiserver CA 证书;kubelet 首次启动会加载此文件,使用 apiserver CA 证书建立与 apiserver 的 TLS 通讯,使用其中的用户 Token 作为身份标识向 apiserver 发起 CSR 请求
BOOTSTRAP_TOKEN=$(awk -F ',' '{print $1}' /opt/kubernetes/cfg/token.csv)
APISERVER=$1
SSL_DIR=$2
export KUBE_APISERVER="https://$APISERVER:6443"
# 设置集群参数
kubectl config set-cluster kubernetes \
--certificate-authority=$SSL_DIR/ca.pem \
--embed-certs=true \
--server=${KUBE_APISERVER} \
--kubeconfig=bootstrap.kubeconfig
#--embed-certs=true:表示将ca.pem证书写入到生成的bootstrap.kubeconfig文件中
# 设置客户端认证参数,kubelet 使用 bootstrap token 认证
kubectl config set-credentials kubelet-bootstrap \
--token=${BOOTSTRAP_TOKEN} \
--kubeconfig=bootstrap.kubeconfig
# 设置上下文参数
kubectl config set-context default \
--cluster=kubernetes \
--user=kubelet-bootstrap \
--kubeconfig=bootstrap.kubeconfig
# 使用上下文参数生成 bootstrap.kubeconfig 文件
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig
#----------------------
#创建kube-proxy.kubeconfig文件
# 设置集群参数
kubectl config set-cluster kubernetes \
--certificate-authority=$SSL_DIR/ca.pem \
--embed-certs=true \
--server=${KUBE_APISERVER} \
--kubeconfig=kube-proxy.kubeconfig
# 设置客户端认证参数,kube-proxy 使用 TLS 证书认证
kubectl config set-credentials kube-proxy \
--client-certificate=$SSL_DIR/kube-proxy.pem \
--client-key=$SSL_DIR/kube-proxy-key.pem \
--embed-certs=true \
--kubeconfig=kube-proxy.kubeconfig
# 设置上下文参数
kubectl config set-context default \
--cluster=kubernetes \
--user=kube-proxy \
--kubeconfig=kube-proxy.kubeconfig
# 使用上下文参数生成 kube-proxy.kubeconfig 文件
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig
chmod +x kubeconfig.sh
3、生成kubelet的配置文件
./kubeconfig.sh 192.168.73.188 /opt/k8s/k8s-cert/
4、把配置文件bootstrap.kubeconfig和kube-proxy.kubeconfig拷贝到node节点
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.73.88:/opt/kubernetes/cfg/
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.73.166:/opt/kubernetes/cfg/
5、RBAC授权
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
查看角色
kubectl get clusterroles | grep system:node-bootstrapper
查看已授权的角色
kubectl get clusterrolebinding
在node01节点上操作
6、使用Kubelet.sh脚本启动kubelet服务
cd /opt
chmod +x kubelet.sh
./kubelet.sh 192.168.73.88
检查kueblet服务
ps aux | grep kubelet
Master01上操作
7、在Master上查看node是否连接成功
kubectl get csr
NAME AGE REQUESTOR CONDITION
node-csr-Gg5PbHy1Gc_wcue56be8Xf1DZtNgVWmnWOF1IVlPjqk 46s kubelet-bootstrap Pending
node-csr-IQHAGYCS6C7sj-eEA4AoZlrhYcBgk5fJSrQzODrDowM 24s kubelet-bootstrap Pending
8、通过CSR请求
kubectl certificate approve node-csr-Gg5PbHy1Gc_wcue56be8Xf1DZtNgVWmnWOF1IVlPjqk
kubectl certificate approve node-csr-IQHAGYCS6C7sj-eEA4AoZlrhYcBgk5fJSrQzODrDowM
9、查看集群节点状态
kubectl get nodes
在node1节点上操作
10、自动生成了证书和kubelet.kubeconfig文件
ls /opt/kubernetes/cfg/kubelet.kubeconfig
ls /opt/kubernetes/ssl/
11、加载 ip_vs 模块
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i > /dev/null 2>&1 && /sbin/modprobe $i;done
12、使用proxy.sh脚本启动proxy服务
cd /opt
chmod +x proxy.sh
./proxy.sh 192.168.73.88
systemctl status kube-proxy.service
13、将node01节点上将kubelet.sh、proxy.sh文件拷贝到node02节点中
scp kubelet.sh proxy.sh root@192.168.73.166:/opt/
在node02节点上开启服务即可