kubeadm v1.20部署K8S集群架构
前言
kubernetes有多种部署方式,目前主流的方式有kubeadm、minikube、二进制包
- minikube: 一个用于快速搭建单节点kubenetes的工具
- kubeadm: 一个用于快速搭建kubenetes集群的工具
- 二进制包:从官网下载每个组件的二进制包,一次去安装,此方式对于理解kubernetes组件更有效
主机规划
节点 | IP地址 | 配置 |
---|---|---|
Master | 192.168.61.11 | 2 CPU 2G内存 50G硬盘 |
Node1 | 192.168.61.22 | 2 CPU 2G内存 50G硬盘 |
Node2 | 192.168.61.33 | 2 CPU 2G内存 50G硬盘 |
#环境搭建
配置主机名
一、环境初始化
1.1 检查操作系统版本
[root@master ~]# cat /etc/redhat-release
CentOS Linux release 7.6.1810 (Core)
##kubeadm安装部署要求k8s集群要求CentOS版本在7.5以上
1.2 主机名解析
为了方便后面集群节点间的直接调用,在这里配置一下主机名解析,企业中使用内部DNS服务器
#在三台服务器的/etc/hosts 文件下添加
192.168.61.11 master
192.168.61.22 node1
192.168.61.33 node3
1.3 时间同步
kubernetes要求集群中的节点时间必须精确一致,使用chronyd服务从网络同步时间
(企业配置内部时间同步服务器)
##启动chronyd服务
[root@master ~]# systemctl start chronyd
##设置chronyd开机自启
[root@node2 ~]# systemctl enable chronyd
##稍后用date命令验证
[root@node2 ~]# date
1.4 禁用iptables和firewalld
k8s和docker在使用的时候,会产生大量的iptables规则,为了不让系统规则和他们混淆,直接关闭系统的规则
##关闭firewalld服务
[root@master ~]# systemctl stop firewalld
[root@master ~]# systemctl disable firewalld
##关闭iptables服务
[root@master ~]# systemctl stop iptables
[root@master ~]# systemctl disable iptables
1.5 禁用selinux
selinux是linux系统下的一个安全服务,如果不关闭它,安装集群时会产生问题
## /etc/selnix/config 文件下
SELINUX=disabled
1.6 禁用swap分区
##编辑分区文件 /etc/fstab ,注释掉swap分区这一行
##注释之后需要重启linux
1.7 修改linux内核参数
##修改linux内核参数,添加网桥过滤和地址转发功能
##编辑/etc/sysctl.d/kubernetes.conf文件,添加如下配置:
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
##重新加载配置
[root@master ~]# sysctl -p
##加载网桥过滤模块
[root@master ~]# modprobe br_netfilter
##查看网桥过滤模块是否加载成功
[root@master ~]# lsmod | grep br_netfilter
1.8 配置ipvs功能
在k8s中service有两种代理模型,一种是基于iptables,一种是基于ipvs
两种比较,ipvs的性能明显比较高,但是如果使用他就要手动添加ipvs模块
## 1. 安装ipset 和 ipvsadm
[root@master ~]# yum install -y ipset ipvsadm
## 2. 添加需要加载的模块写入脚本文件
[root@master ~]# cat <<EOF > /etc/sysconfig/modules/ipvs.modules
#/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
## 3. 为脚本文件添加权限
[root@master ~]# chmod +x /etc/sysconfig/modules/ipvs.modules
## 4. 执行脚本文件
[root@master ~]# /bin/bash /etc/sysconfig/modules/ipvs.modules
## 5. 查看对应的的模块是否添加成功
[root@master ~]# lsmod | grep -e ip_vs -e nf_conntrack_ipv4
1.9 重启服务器
上边所有步骤完成时候,需要重启linux系统
[root@master ~]# reboot
二、安装docker
# 1. 切换镜像源
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
或者
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
# 2. 查看当前镜像源支持的docker版本
yum list docker-ce --showduplicates
## 3. 安装特定版的docker-ce
##必须指定--setopt=obsoletes=0 ,否则yum会安装更高本版
yum install -y --setopt=obsletes=o docker-ce-18.06.3.ce-3.el7.x86_64
## 4. 添加一个配置文件
#在默认情况下使用的Cgroup Driver为cgroup方式,而k8s推荐使用systemd来代替cgroupfs
[root@master ~]# mkdir /etc/docker
[root@master ~]# cat <<EOF > /etc/docker/daemon.json
{
"exec-opts":["native.cgroupdriver=systemd"],
"registry-mirrors":["https://kn0t2bca.mirrors.aliyun.com"]
}
EOF
## 5. 启动docker
[root@master ~]# systemctl restart docker
[root@master ~]# systemctl enable docker
## 6. 查看docker版本
[root@master ~]# docker version
三、安装kubenetes组件
由于kubenetes的镜像源在国外,速度非常慢,这里切换成国内的镜像源
## 编辑 /etc/yum.repos.d/kubernetes.repo 添加下面的配置
[root@master ~]# cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
## 安装 kubeadm、kubelet、kubectl
[root@master ~]# yum install --setopt=obsoletes=0 kubeadm-1.17.4-0 kubelet-1.17.4-0 kubectl-1.17.4-0 -y
##配置kubelet的cgroup
##编辑 /etc/sysconfig/kubelet,添加下面的配置
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE-PROXY_MODE="ipvs"
四、准备集群镜像
## 安装kubernetes集群之前,必须提前准备好集群所需要的镜像,所需镜像可以通过以下命令查看
kubeadm config images list
##下载镜像
## 此镜像在kubernetes的仓库中,由于网络原因,无法连接,下面提供了一种替代方案
[root@master ~]# images=(
kube-apiserver:v1.17.4
kube-controller-manager:v1.17.4
kube-scheduler:v1.17.4
kube-proxy:v1.17.4
pause:3.1
etcd:3.4.3-0
coredns:1.6.5
)
[root@master ~]# for imageName in ${images[@]} ; do
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
docker rmi regitry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done
五、集群初始化
下面开始对集群进行初始化,并将node节点加入到节点中
以下操作只在node上操作
## 创建集群
[root@master ~]# kubeadm init \
--kubernetes-version=v1.17.4 \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=10.96.0.0/12 \
--apiserver-advertise-address=192.168.61.11
##创建必要文件
mkdir -p $HOME/.kube //K8S组件家目录
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config //提权
##复制、记录申请加入集群命令(两个节点上做)
kubeadm join 192.168.61.11:6443 --token w4pxog.4ghttfx1uiw4ndts \
--discovery-token-ca-cert-hash sha256:db9b3a86d329235533079d0c3b0f095129cdaf4c513bd1483c91e5603b1fe6e4
[root@master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master NotReady master 10m v1.17.4
node1 NotReady <none> 92s v1.17.4
node2 NotReady <none> 71s v1.17.4
温馨提示:token令牌失效怎么办?
#若token 过期或丢失,需要先申请新的token 令牌【令牌过期时间是:24小时,等过了24小时之后,令牌失效,使用下面这个命令进行刷新重新生成令牌!】
kubeadm token create
#列出token
kubeadm token list | awk -F" " '{print $1}' |tail -n 1
#然后获取CA公钥的的hash值
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^ .* //'
#替换join中token及sha256:
kubeadm join 192.168.61.11:6443 --token zwl2z0.arz2wvtrk8yptkyz \
--discovery-token-ca-cert-hash sha256:e211bc7af55310303fbc7126a1bc7289f16b046f8798008b68ee01051361cf02
六、安装网络插件
kubernetes支持多种网络插件,比如:flannel、calico、canal等,任选其中一种,我准备的是flannel
下面的操作只在master节点执行,插件使用的是DaemonSet的控制器,它会在每个节点上运行
kubectl apply -f \
> https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
到这里,kubernetes的集群就搭建完成啦!
nginx 服务部署
接下来在kubernetes中部署一个nginx程序,测试一下集群是否在正常工作
# 部署nginx
[root@master ~]# kubectl create deployment nginx --image=nginx:1.14-alpine
# 暴露端口
[root@master ~]# kubectl expose deployment nginx --port=80 --type=Nodeport
##查看服务状态
[root@master ~]# kubectl get pod
NAME READY STATUS RESTARTS AGE
nginx-6867cdf567-bqbqx 1/1 Running 0 11m
[root@master ~]# kubectl get service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 22h
nginx NodePort 10.102.129.201 <none> 80:31306/TCP 24s
## 最后在电脑上访问部署的nginx