不踩雷k8s部署

一、前提

 服务器规划：

服务器要求：

• 建议最小硬件配置： 2核CPU、2G内存、20G硬盘。
• 服务器可以访问互联网，能够联网下载镜像。
• 时间进行同步!!!

 软件环境：

软件	版本
操作系统	>= CentOS 7.5
Docker	最新 26.1.1
K8S	v1.28.1

二、初始化设置（all）

 1. 域名解析

cat >> /etc/hosts <<EOF
192.168.140.128 master
192.168.140.129 node1
192.168.140.130 node2
EOF

2.时间同步

systemctl start chronyd
systemctl enable chronyd
date

3. 禁用iptables和firewalld服务

##kubernetes和docker在运行中会产生大量的iptables规则，为了不让系统规则跟他们混淆，直接关闭系统的规则
systemctl stop firewalld
systemctl disable firewalld
iptables -F

 4. 禁用selinux

# 编辑/etc/selinux/config文件，修改SELINUX的值为disabled
# 注意修改完毕之后需要重启linux服务
setenforce 0

 5. 禁用swap分区

# 编辑分区配置文件/etc/fstab,注释swap分区一行
# 注意修改完毕之后需要重启linux服务生效
sed -i '/swap/ s/^/#/' /etc/fstab
swapoff -a

6.修改linux内核参数

# 添加网桥过滤和地址转发功能
cat > /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
# 重新加载配置
sysctl -p
# 加载网桥过滤模块
modprobe br_netfilter
# 查看网桥过滤是否加载成功
lsmod|grep br_netfilter

7. 配置ipvs功能

# 安装ipset和ipvsadm
yum -y install ipset ipvsadm

# 添加需要加载的模块写入脚本文件
cat <<EOF > /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

# 为脚本文件添加执行权限
chmod +x /etc/sysconfig/modules/ipvs.modules

# 执行脚本文件
bash /etc/sysconfig/modules/ipvs.modules

# 查看对应的模块是否加载成功
lsmod | grep -e ip_vs -e nf_conntrack_ipv4


# 上述步骤完成后，需要重新启动Linux系统
reboot

 二、docker安装部署（all）

1. 添加docker镜像源

#安装docker所需依赖包
yum -y install yum-utils
#设置docker镜像仓库
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
#更新yum软件包索引
yum makecache fast
#安装docker
yum -y install docker-ce docker-ce-cli containerd.io docker-compose-plugin
# 配置镜像下载加速器
cat >/etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
systemctl daemon-reload
#启动docker
systemctl start docker
systemctl enable docker

三、docker-cri安装部署(all)

1.下载docker-cri安装包

wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.1/cri-dockerd-0.3.1-3.el7.x86_64.rpm

2.安装docker-cri

yum -y install cri-dockerd-0.3.1-3.el7.x86_64.rpm

3.修改配置文件

sed -i '/dockerd/ s#$# --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9#' /usr/lib/systemd/system/cri-docker.service

##加载、设置开机自启
systemctl daemon-reload
systemctl enable cri-docker --now

四、k8s安装部署(all)

1.添加k8s阿里云yum软件源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

2.安装kubeadm、kubelet和kubectl

yum install -y --setopt=obsoletes=0 kubectl-1.28.1-0 kubelet-1.28.1-0 kubeadm-1.28.1-0 

3.配置kubelet的cgroup

#编辑/etc/sysconfi/kkubelet,添加下面配置
cat > /etc/sysconfig/kubelet <<EOF
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"
EOF

##设置开机自启
systemctl start kubelet
systemctl enable kubelet

4. 准备集群镜像(master)

##在安装kubernetes集群之前，必须要提前准备好集群需要的镜像，所需镜像可以通过下面命令查看
kubeadm config images list

# 下载镜像
##举例：img.sh
#!/bin/bash

images=(
    kube-apiserver:v1.28.9
    kube-controller-manager:v1.28.9
    kube-scheduler:v1.28.9
    kube-proxy:v1.28.9
    pause:3.9
    etcd:3.5.9-0
    coredns:v1.10.1
)

for imageName in "${images[@]}"; do
    docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
    docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
    docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done

##执行脚本
chmod +x img.sh
bash img.sh

5. 初始化集群(master)

##apiserver-advertise-address 集群通告地址（master内网）
##image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
##kubernetes-version K8s版本，与上面安装的一致
##service-cidr 集群内部虚拟网络，Pod统一访问入口
##pod-network-cidr Pod网络，与下面部署的CNI网络组件yaml中保持一致

kubeadm init \
  --apiserver-advertise-address=192.168.140.128 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.28.1 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16 \
--cri-socket=unix:///var/run/cri-dockerd.sock 


##初始化完成，
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

 6.网络插件安装（master）

wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/tigera-operator.yaml
wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.1/manifests/custom-resources.yaml

##修改custom-resources.yaml
##第13行ip网络段为初始化设置的集群内部通信pod网络段

kubectl apply -f tigera-operator.yaml
kubectl apply -f custom-resources.yaml

这部分时间可能有点长，请耐心等待。

7. 节点加入集群

kubeadm join 192.168.140.128:6443 --token k4lg9m.49ts1p1i20bxhzd7 --discovery-token-ca-cert-hash sha256:8205083f2cdd3d64fefd69101743def0a8e374b58c0f21d16c334d444f1cd9f2 --cri-socket=unix:///var/run/cri-dockerd.sock

 8.测试

完成！！！ 

五、 困惑

为啥我的镜像版本查看是更高的版本