k8s基础之集群搭建

 一、服务器准备工作（以下是每个节点都要运行）

1.关闭防火墙

systemctl stop firewalld 
systemctl disable firewalld

2.关闭selinux,目的为了允许容器能够与本机文件系统交互。

sed -i 's/enforcing/disabled/' /etc/selinux/config 
setenforce 0

 3.关闭swap

## 临时关闭

swapoff -a

##永久关闭

sed -ri 's/.*swap.*/#&/' /etc/fstab

4.master添加主机名与IP对应的关系

vim /etc/hosts (修改相应主机名hostnamectl set-hostname <hostname>)

192.168.2.252 master
192.168.2.251 node1
192.168.2.253 node2

5. 将桥接的IPv4流量传递到iptables的链#

• 在每个节点添加如下的命令：

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
EOF

6.时间同步

• 在每个节点添加时间同步：

yum install ntpdate -y
ntpdate time.windows.com

7、每个节点安装docker

（1）、设置仓库
安装所需的软件包。yum-utils 提供了 yum-config-manager ，并且 device mapper 存储驱动程序需要 device-mapper-persistent-data 和 lvm2。

yum install -y yum-utils device-mapper-persistent-data lvm2

（2）、使用以下命令来设置稳定的仓库

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

（3）、安装 Docker 

 yum install -y docker-ce

（4）、设置"exec-opts": ["native.cgroupdriver=systemd"],

vim /etc/docker/daemon.json

{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}

 （5）、设置开机启动

systemctl daemon-reload
systemctl enable docker
systemctl start docker

8、添加阿里云YUM软件源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

9、安装 ebtables ethtool，否则后边执行 kubeadm init 的时候会报错

yum install ebtables ethtool -y

10、要保证打开内置的桥功能，这个是借助于iptables来实现的

echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables

 11、安装kubeadm，kubelet和kubectl（所有节点执行）

在部署kubernetes时，要求master node和worker node上的版本保持一致，否则会出现版本不匹配导致奇怪的问题出现。

kubelet 运行在 Cluster 所有节点上，负责启动 Pod 和容器。

kubeadm 用于初始化 Cluster。

kubectl 是 Kubernetes 命令行工具。通过 kubectl 可以部署和管理应用，查看各种资源，创建、删除和更新各种组件。

我们需要安装指定版本的kubernetes。那么如何做呢？在进行yum安装时，可以使用下列的格式来进行安装：

yum install -y kubelet-1.18.3* kubectl-1.18.3* kubeadm-1.18.3* --nogpgcheck

yum remove -y kubelet-1.23.0 kubeadm-1.23.0 kubectl-1.23.0

 11、重新启动

此时kubelet服务不会启动，在init后才会变成running

systemctl enable kubelet

二、部署Kubernetes Master（master运行）

1、初始化kubeadm

kubeadm init --apiserver-advertise-address=192.168.2.252 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.23.0 --service-cidr=10.10.10.0/24 --pod-network-cidr=192.168.1.0/24

--apiserver-advertise-address：master主机IP地址

--image-repository string：这个用于指定从什么位置来拉取镜像（1.13版本才有的），默认值是k8s.gcr.io，我们将其指定为国内镜像地址：registry.aliyuncs.com/google_containers

--kubernetes-version string：指定kubenets版本号，默认值是stable-1，会导致从https://dl.k8s.io/release/stable-1.txt下载最新的版本号，我们可以将其指定为固定版本（最新版：V1.23.1截至我发版前，这个可以不用指定）来跳过网络请求。

--apiserver-advertise-address 指明用 Master 的哪个 interface 与 Cluster 的其他节点通信。如果 Master 有多个 interface，建议明确指定，如果不指定，kubeadm 会自动选择有默认网关的 interface。

--pod-network-cidr指定 Pod 网络的范围。Kubernetes 支持多种网络方案，而且不同网络方案对  --pod-network-cidr有自己的要求，这里设置为192.168.1.0/24 是因为我们将使用 flannel 网络方案，必须设置成这个 CIDR。

安装成功状态如下 

注：执行下面的命令的意思是，给相应的用户kuberctl执行权限，如果其他用户需要权限的话，需要在其他用户下再次运行以下命令

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

 

2、 如果初始化失败，请使用如下代码清除后重新初始化

swapoff -a
kubeadm reset
systemctl daemon-reload
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
rm -rf /etc/cni/net.d
rm -rf $HOME/.kube/config
rm -rf /etc/kubernetes
systemctl restart kubelet

3、初始化成功下载的docker镜像

 4、为了使用更便捷，启用 kubectl 命令的自动补全功能。

echo "source <(kubectl completion bash)" >> ~/.bashrc

5、安装pod网络

要让 Kubernetes Cluster 能够工作，必须安装 Pod 网络，否则 Pod 之间无法通信。这里我们先使用 calico，因为我安装的是k8s高版本，网络插件也一定要是高版本的
curl https://docs.projectcalico.org/manifests/calico.yaml -O

vim calico.yaml找到name: IP，上面加入如下两行，ens.*是GoLang的正则，我集群中网卡名称都是ens33，这样可以匹配到网卡，否则会提示如下错误

Readiness probe failed: caliconode is ot ready: BIRD is not ready: BGP not established with *.*.*.*

- name: IP_AUTODETECTION_METHOD
value: "interface=ens.*"

 kubectl apply -f calico.yaml

三、添加node

1、在上面master kubelet初始化成功后会生成添加node密钥如下

kubeadm join 192.168.2.252:6443 --token ky3ifv.cp4zzcdoq9sdwp2s \
    --discovery-token-ca-cert-hash sha256:3c85d013062bed664817fc7ef15100f650d55f8c05100c9de5e721cbfa89c38d

如果忘记token可以通过如下命令获取token

kubeadm token list

在每台node服务器执行

 2、执行后到master查看node状态 

kubectl get node

四、集群操作

1、移除NODE节点的方法

（1）、先将节点设置为维护模式(host1是节点名称)

kubectl drain node1--delete-local-data --force --ignore-daemonsets

 此时node状态为Ready,SchedulingDisabled

 （2）、然后删除节点

kubectl delete node node1

 2、再想添加进来这个node，需要执行如下操作

（1）、 systemctl stop kubelet

（2）、rm -rf /etc/kubernetes/*

（3）、 systemctl start kubelet

（4）、kubeadm join 192.168.2.252:6443 --token ky3ifv.cp4zzcdoq9sdwp2s \
> > --discovery-token-ca-cert-hash sha256:3c85d013062bed664817fc7ef15100f650d55f8c05100c9de5e721cbfa89c38d