Kubernetes—二进制部署k8s集群搭建单机matser和etcd集群（1）

目录

组件部署

一、操作系统初始化配置 

二、升级Liunx内核

三、部署docker引擎 

四、部署etcd集群

1.在 master01 节点上操作

2.在 node节点上操作 

检查etcd群集状态

增删查键

备份还原 etcd（拓展）

五.部署 Master 组件

1.上传解压

2.创建目录并修改脚本 

3.上传并解压

4.创建目录

5.复制

6.复制

7.创建文件

8.开启 apiserver 服务并检查进程是否成功

 9.启动 scheduler 服务

10.启动 controller-manager 服务

11.生成文件并查看

六.部署 Worker Node 组件

1.在node01 节点上操作

2.在 master01 节点上操作

拷贝到node 节点上

上传文件并授权

3.在node01 节点上操作

 4.在master01 节点上操作

5.在node02 节点上操作

6.master01 节点查看

7.node01 节点操作

8.node02 节点操作

9.master01 节点查看验证

---

 

组件部署

mater节点
mater01	192.168.80.100	kube-apiserver kube-controller-manager kube-scheduler etcd
mater02	192.168.80.101
node节点
node01	192.168.80.102	kubelet kube-proxy docker （容器引擎）
node02	192.168.80.103	kubelet kube-proxy docker （容器引擎）
etcd  cluster集群
etcd节点1	192.168.80.100（mater01）	etcd
etcd节点2	192.168.80.102 （node01）	etcd
etcd节点3	192.168.80.103 （node02）	etcd

一、操作系统初始化配置 

#关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

#关闭selinux

setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

#关闭swap

swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab 

#根据规划设置主机名

hostnamectl set-hostname master01
hostnamectl set-hostname master02
hostnamectl set-hostname node01
hostnamectl set-hostname node02

#在master添加hosts 

cat >> /etc/hosts << EOF
192.168.80.100 master01
192.168.80.101 master02
192.168.80.102 node01
192.168.80.103 node02
EOF

#调整内核参数

cat > /etc/sysctl.d/k8s.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
net.ipv4.ip_forward=1
EOF

sysctl --system

 #时间同步

#时间同步   所有服务器操作
vim /etc/chrony.conf
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server ntp1.aliyun.com iburst
systemctl restart chronyd.service
chronyc -a makestep

二、升级Liunx内核

vim /etc/yum.repos.d/elrepo.repo   所有服务器操作
[elrepo]
name=elrepo
baseurl=https://mirrors.aliyun.com/elrepo/archive/kernel/el7/x86_64
gpgcheck=0
enabled=1
 
 
cd /etc/yum.repos.d/
mv local.repo repo.bak/
导入阿里云在线源

yum clean all  所有服务器操作
yum install -y kernel-lt kernel-lt-devel  集群升级内核
#查看内核序号
awk -F\' '$1=="menuentry " {print i++ " : " $2}' /etc/grub2.cfg
#设置默认启动内核
grub2-set-default 0
#重启操作系统
reboot
#查看生效版本
hostnamectl

三、部署docker引擎 

所有 node 节点部署docker引擎
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io

cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "500m", "max-file": "3"
  }
}
EOF
 
systemctl enable --now docker
docker info

四、部署etcd集群

etcd是一个分布式键值存储系统，用于在分布式系统中保存配置信息、元数据以及关键的共享状

态。它是一个开源项目，最初由CoreOS开发并维护，现在由CNCF托管。etcd的设计目标是提供

可靠的分布式存储，以支持分布式系统的一致性和高可用性

关键特性

• 分布式存储：etcd的数据存储是分布式的，可以跨多个节点进行分布，确保高可用性和可扩展性
• 强致性：etcd提供强一致性的保证，确保在集群中的所有节点都能看到相同的数据视图
• 轻量级：etcd采用轻量级的Raft一致性算法，以确保集群中的节点之间达成一致，同时保持相对较低的性能开销
• API支持：etcd提供简单而强大的HTTP+JSON API，使得开发人员可以轻松地与其进行交互，并集成到各种应用和工具中
• Watch机制：etcd支持Watch机制，允许客户端监视特定键的变化，并在数据发生变更时得到通知
• 安全性：etcd支持SSL/TLS加密，以保障数据在传输过程中的安全性，并提供基于角色的访问控制

应用场景

• 配置管理： etcd常用于存储应用程序和系统的配置信息，允许动态地更新配置而无需重启应用
• 服务发现： etcd可以用作服务发现的后端存储，帮助服务在动态环境中找到彼此
• 分布式锁： 通过etcd的分布式锁机制，可以实现分布式系统中的协同工作和资源同步
• 集群协调： etcd在构建分布式系统中，作为集群协调的关键组件，确保系统的一致性和稳定性

总体而言，etcd在云原生应用和分布式系统中发挥着重要作用，提供了可靠的分布式存储和协调服

务，为应用程序提供一致性、可靠性和高可用性的基础设施支持

etcd 目前默认使用2379端口提供HTTP API服务， 2380端口和peer通信(这两个端口已经被

IANA(互联网数字分配机构)官方预留给etcd)。 即etcd默认使用2379端口对外为客户端提供通讯，

使用端口2380来进行服务器间内部通讯

etcd 在生产环境中一般推荐集群方式部署。由于etcd 的leader选举机制，要求至少为3台或以上的奇数台

准备签发证书环境

• CFSSL 是 CloudFlare 公司开源的一款 PKI/TLS 工具。 CFSSL 包含一个命令行工具和一个用于签
• 名、验证和捆绑 TLS 证书的 HTTP API 服务。使用Go语言编写。
• CFSSL 使用配置文件生成证书，因此自签之前，需要生成它识别的 json 格式的配置文件，CFSSL
• 提供了方便的命令行生成配置文件。
• CFSSL 用来为 etcd 提供 TLS 证书，它支持签三种类型的证书

1.在 master01 节点上操作

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
 
chmod +x /usr/local/bin/cfssl*
------------------------------------------------------------------------------------------
cfssl：证书签发的工具命令
cfssljson：将 cfssl 生成的证书（json格式）变为文件承载式证书
cfssl-certinfo：验证证书的信息
cfssl-certinfo -cert <证书名称>			#查看证书的信息

cd /usr/local/bin
上传所需软件包
chmod +x *

生成etcd证书

mkdir /opt/k8s
cd /opt/k8s/
 
#上传 etcd-cert.sh 和 etcd.sh 到 /opt/k8s/ 目录中
#上传 etcd-v3.4.26-linux-amd64.tar.gz 到 /opt/k8s 目录中，
chmod +x etcd-cert.sh etcd.sh
 
 
#创建用于生成CA证书、etcd 服务器证书以及私钥的目录
mkdir /opt/k8s/etcd-cert
mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
vim etcd-cert.sh  #修改其中通信地址为本地
./etcd-cert.sh			#生成CA证书、etcd 服务器证书以及私钥

 vim etcd-cert.sh

./etcd-cert.sh     

cd /opt/k8s/
tar xf etcd-v3.4.26-linux-amd64.tar.gz
 
cd /opt
mkdir etcd
cd etcd
mkdir cfg bin ssl
cd /opt/k8s/etcd-v3.4.26-linux-amd64/
mv etcd etcdctl /opt/etcd/bin/
cd ..
cd etcd-cert/
cp *.pem /opt/etcd/ssl/

cd /opt/k8s
./etcd.sh etcd01 192.168.80.100 etcd02=https://192.168.80.102:2380,etcd03=https://192.168.80.103:2380

#进入卡住状态等待其他节点加入，这里需要三台etcd服务同时启动，如果只启动其中一台后，服务会卡在那里，直到集群中所有etcd节点都已启动，可忽略这个情况
 
#可另外打开一个窗口查看etcd进程是否正常
ps -ef | grep etcd
 

#把etcd相关证书文件、命令文件和服务管理文件全部拷贝到另外两个etcd集群节点
scp -r /opt/etcd/ root@192.168.80.102:/opt/
scp -r /opt/etcd/ root@192.168.80.103:/opt/
cd /usr/lib/systemd/system
scp etcd.service root@192.168.80.102:`pwd`
scp etcd.service root@192.168.80.103:`pwd`

2.在 node节点上操作 

在 node01 节点上操作

vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd02"											#修改
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.80.102:2380"			#修改
ETCD_LISTEN_CLIENT_URLS="https://192.168.80.102:2379"		#修改
 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.80.102:2380"		#修改
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.80.102:2379"				#修改
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.80.101:2380,etcd02=https://192.168.80.102:2380,etcd03=https://192.168.80.103:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
 
node2上类似

在 node02 节点上操作

vim /opt/etcd/cfg/etcd
#[Member]
ETCD_NAME="etcd03"											#修改
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.80.103:2380"			#修改
ETCD_LISTEN_CLIENT_URLS="https://192.168.80.103:2379"		#修改
 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.80.103:2380"		#修改
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.80.103:2379"				#修改
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.80.101:2380,etcd02=https://192.168.80.102:2380,etcd03=https://192.168.80.103:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
 
node2上类似

重启服务 

systemctl enable --now etcd.service    #分别启动node2、node3两个节点etcd
三个node节点查看etcd状态
systemctl status etcd.service 

在 master01 节点上操作 

检查etcd群集状态

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://192.168.80.101:2379,https://192.1

查看当前的 leader

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://192.168.80.100:2379,https://192.168.80.102:2379,https://192.168.80.103:2379" --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem  endpoint status --write-out=table
 
------------------------------------------------------------------------------------------
--cacert  --ca-file：使用此CA证书验证启用https的服务器的证书
--key   --key-file：使用此TLS密钥文件标识HTTPS客户端
--cert  --cert-file：使用此TLS证书文件标识HTTPS客户端
--endpoints：集群中以逗号分隔的机器地址列表
cluster-health：检查etcd集群的运行状况

查看etcd集群成员列表

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://192.168.80.100:2379" --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem  --write-out=table member list

增删查键

#插入键值
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 put <KEY> '<VALUE>'
 
#查看键值
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 get <KEY>
 
#删除键值
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://IP1:2379" --cacert=CA证书 --cert=客户端证书 --key=客户端私钥 del <KEY>

备份还原 etcd（拓展）

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://192.168.80.100:2379" --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem  snapshot save /root/etcd_backup-20240729    --#数据备份
 
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://192.168.80.100:2379" --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem  snapshot status /root/etcd_backup-20240729 -wtable    --#备份状态查看
 
ETCDCTL_API=3 /opt/etcd/bin/etcdctl --endpoints="https://192.168.80.100:2379" --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem  snapshot restore /root/etcd_backup-20240729     --#数据恢复

五.部署 Master 组件

在 master01 节点上操作

1.上传解压

#上传 master.zip 和 k8s-cert.sh 到 /opt/k8s 目录中，解压 master.zip 压缩包
cd /opt/k8s/
unzip master.zip

2.创建目录并修改脚本 

#创建用于生成CA证书、相关组件的证书和私钥的目录
mkdir k8s-cert
mv k8s-cert.sh k8s-cert/
cd k8s-cert/
chmod +x k8s-cert.sh
vim k8s-cert.sh
./k8s-cert.sh				#生成CA证书、相关组件的证书和私钥

 

 

3.上传并解压

#上传 kubernetes-server-linux-amd64.tar.gz 到 /opt/k8s/ 目录中，解压 kubernetes 压缩包
#下载地址：https://github.com/kubernetes/kubernetes/blob/release-1.20/CHANGELOG/CHANGELOG-1.20.md
#注：打开链接你会发现里面有很多包，下载一个server包就够了，包含了Master和Worker Node二进制文件。
 
cd /opt/k8s/
tar zxvf kubernetes-server-linux-amd64.tar.gz

4.创建目录

创建kubernetes工作目录
mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

5.复制

#复制master组件的关键命令文件到 kubernetes工作目录的 bin 子目录中
cd /opt/k8s/kubernetes/server/bin
cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/
ln -s /opt/kubernetes/bin/* /usr/local/bin/

6.复制

#复制CA证书、apiserver相关证书和私钥到 kubernetes工作目录的 ssl 子目录中
cp apiserver-key.pem apiserver.pem  ca-key.pem ca.pem  /opt/kubernetes/ssl/

7.创建文件

#创建 bootstrap token 认证文件，apiserver 启动时会调用，然后就相当于在集群内创建了一个这个用户，接下来就可以用 RBAC 给他授权
cd /opt/kubernetes/cfg
vim token.csv
#获取随机数前16个字节内容，以十六进制格式输出，并删除其中空格
head -c 16 /dev/urandom | od -An -t x | tr -d ' '
在后面添加,kubelet-bootstrap,10001,"system:kubelet-bootstrap"
unzip master.zip 
chmod +x *.sh

8.开启 apiserver 服务并检查进程是否成功

#二进制文件、token、证书都准备好后，开启 apiserver 服务
cd /opt/k8s/
./apiserver.sh 192.168.80.100 https://192.168.80.100:2379,https://192.168.80.102:2379,https://192.168.80.103:2379
 
#检查进程是否启动成功
ps aux | grep kube-apiserver
 
netstat -natp | grep 6443   #安全端口6443用于接收HTTPS请求，用于基于Token文件或客户端证书等认证

 9.启动 scheduler 服务

cd /opt/k8s/
./scheduler.sh
ps aux | grep kube-scheduler

 

 

10.启动 controller-manager 服务

#启动 controller-manager 服务
 
cd /opt/k8s/kubernetes/server/bin
cp kubectl /usr/local/bin/
cd /opt/k8s/
vim controller-manager.sh 
#修改60行，设置为本机IP
KUBE_APISERVER="https://192.168.80.100:6443"
 

./controller-manager.sh
ps aux | grep kube-controller-manager

11.生成文件并查看

#生成kubectl连接集群的kubeconfig文件
#4行修改ip为本机 
KUBE_APISERVER="https://192.168.9.112:6443"
 
./admin.sh
ls /root/.kube/
 
#通过kubectl工具查看当前集群组件状态
kubectl get cs 
#查看版本信息
kubectl version
 
#查看当前的 leader
kubectl -n kube-system get leases kube-scheduler
kubectl -n kube-system get leases kube-controller-manager

六.部署 Worker Node 组件

1.在node01 节点上操作

#创建kubernetes工作目录
mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}
cd /opt
mkdir k8s
cd k8s/
 
#上传 node.zip 到 /opt 目录中
#解压 node.zip 压缩包，获得kubelet.sh、proxy.sh
chmod +x *.sh

2.在 master01 节点上操作

拷贝到node 节点上

#把 kubelet、kube-proxy 拷贝到 node01 节点
cd /opt/k8s/kubernetes/server/bin
scp kubelet kube-proxy root@192.168.80.102:/opt/kubernetes/bin/

上传文件并授权

cd /opt/k8s/
#上传kubeconfig.sh文件，生成kubelet初次加入集群引导kubeconfig文件和kube-proxy.kubeconfig文件
mkdir kubeconfig
mv kubeconfig.sh kubeconfig/
cd kubeconfig/
chmod +x kubeconfig.sh
./kubeconfig.sh 192.168.80.101 /opt/k8s/k8s-cert/
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.80.102:/opt/kubernetes/cfg/
 
 
#RBAC授权，使用户 kubelet-bootstrap 能够有权限发起 CSR 请求证书
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

3.在node01 节点上操作

node01节点
cd /opt/k8s
vim kubelet.sh 
#11行修改
--hostname-override=node01 \\
 
./kubelet.sh 192.168.80.100
systemctl status kubelet.service 

 

 4.在master01 节点上操作

#检查到 node01 节点的 kubelet 发起的 CSR 请求，Pending 表示等待集群给该节点签发证书
kubectl get csr
kubectl certificate approve node-csr-8FRv8fLCt_WfV6UspXR_1eRKT7jTbENtAKffPYbU08s
kubectl get csr
#查看节点，由于网络插件还没有部署，节点会没有准备就绪 NotReady
kubectl get nodes
 
#自动批准 CSR 请求
kubectl create clusterrolebinding node-autoapprove-bootstrap --clusterrole=system:certificates.k8s.io:certificatesigningrequests:nodeclient --user=kubelet-bootstrap 
 
kubectl create clusterrolebinding node-autoapprove-certificate-rotation --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeclient --user=kubelet-bootstrap

5.在node02 节点上操作

部署node02节点
node01节点操作
cd /opt/
scp -r k8s/ kubernetes/ root@192.168.80.103:/opt
 
node02节点操作
cd /opt/
cd kubernetes/
rm -rf ssl/*
rm -rf logs/*
 
cd /opt/k8s/
vim kubelet.sh 
#11行修改
--hostname-override=node02 \\
 
./kubelet.sh 192.168.80.103
ls /opt/kubernetes/ssl/

 

6.master01 节点查看

kubectl get csr
kubectl get nodes

7.node01 节点操作

启动kube-proxy
#node01、node02两个节点加载内核模块
cd /usr/lib/modules/5.4.278-1.el7.elrepo.x86_64/kernel/net/netfilter/ipvs
ls | awk -F. '{print $1}'
 
ls | grep -o "^[^.]*" 
for i in $(ls | awk -F. '{print $1}'); do echo $i; modprobe $i; done
 
lsmod | grep ip_vs  #查看
 
 
cd /opt/k8s/
vim proxy.sh
#10行 修改
--hostname-override=node01 \\
 
./proxy.sh 192.168.80.102
systemctl status kube-proxy.service

 

8.node02 节点操作

cd /usr/lib/modules/5.4.278-1.el7.elrepo.x86_64/kernel/net/netfilter/ipvs
ls | awk -F. '{print $1}'
 
ls | grep -o "^[^.]*" 
for i in $(ls | awk -F. '{print $1}'); do echo $i; modprobe $i; done
 
lsmod | grep ip_vs  #查看
 
 
cd /opt/k8s/
vim proxy.sh
#10行 修改
--hostname-override=node01 \\
 
./proxy.sh 192.168.80.103
systemctl status kube-proxy.service

9.master01 节点查看验证

kubectl get cs
kubectl get nodes