2.K8s超详细安装部署流程

K8S搭建流程

1 准备环境

1.1 服务器要求：

建议最小硬件配置：2核CPU、2G内存、20G硬盘 服务器最好可以访问
外网，会有从网上拉取镜像需求，如果服务器不能上网，需要提前下载对应镜像并导入节点

1.2 软件环境：

1.3 服务器规划：

2. 主机名解析(以下命令 所有节点都要执行)

编辑三台服务器的 /etc/hosts 文件 ,添加下面内容：
192.168.73.120 master
192.168.73.121 node1
192.168.73.122 node2

💡 Tips：注意 ip 是你自己服务器的IP，后边的名字也就是你自己服务器的名称

也可以使用下面命令， 自定义自己服务器的名字：

主机名必须每个节点都不一样，并且保证所有点之间可以通过hostname互相访问。

# 查看主机名
$ hostname

# 修改主机名
$ hostnamectl set-hostname <your_hostname>

# 配置host，使主节点之间可以通过hostname互相访问
$ vi /etc/hosts
# <node-ip> <node-hostname>

3. 时间同步

#启动chronyd服务
systemctl start chronyd
systemctl enable chronyd
date 

💡 Tips：执行命令前 可以 使用 rpm -qa |grep chrony 查看系统是否已安装chrony，没有安装环境可使用 yum
install chrony 命令安装

安装依赖包

# 更新yum
$ yum update

# 安装依赖包
$ yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp

4. 禁用selinux和firewalld服务

4.1关闭firewalld服务

systemctl stop firewalld
systemctl disable firewalld

4.2关闭selinux服务 重置iptables

sed -i 's/enforcing/disabled/' /etc/selinux/config #重启后生效

# 重置iptables
$ iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT

# 关闭selinux
$ setenforce 0

# 关闭dnsmasq(否则可能导致docker容器无法解析域名)
$ service dnsmasq stop && systemctl disable dnsmasq

5. 禁用swap分区

💡Tips：swap分区指的是虚拟内存分区，它的作用是物理内存使用完，之后将磁盘空间虚拟成内存来使用，启用swap设备会对系统的性能产生非常负面的影响，因此kubernetes要求每个节点都要禁用swap设备，但是如果因为某些原因确实不能关闭swap分区，就需要在集群安装过程中通过明确的参数进行配置说明

编辑分区配置文件/etc/fstab，注释掉swap分区一行 # 注意修改完毕之后需要重启linux服务

vi /etc/fstab 
#注释掉下面的设置
 /dev/mapper/centos-swap swap

💡 Tips： 也可以使用以下命令 进入进行修改， 重启后生效

free -m #查看状态
swapoff -a #临时
sed -ri ‘s/.swap./#&/’ /etc/fstab

6. 添加网桥过滤和地址转发功能

cat > /etc/sysctl.d/kubernetes.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

#然后执行
sysctl --system   //生效命令

系统参数设置

# 制作配置文件
$ cat > /etc/sysctl.d/kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
EOF

# 生效文件
$ sysctl -p /etc/sysctl.d/kubernetes.conf

7.docker安装（所有节点）

#1.安装docker依赖

yum install -y yum-utils

#2.设置docker仓库镜像地址

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

#3.安装下载docker

yum install docker-ce docker-ce-cli containerd.io

#4.设置docker开机启动

systemctl enable docker && systemctl start docker

#5.配置docker 镜像加速器

> cat <<EOF> /etc/docker/daemon.json
{ 
"exec-opts": ["native.cgroupdriver=systemd"], 
"registry-mirrors": ["https://kn0t2bca.mirror.aliyuncs.com"]
 } 
EOF

#6.重启docker服务

systemctl restart docker

8.kubernetes镜像切换成国内源

cat > /etc/yum.repos.d/kubernetes.repo << EOF[kubernetes]name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg 
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装必要工具（所有节点）

• kubeadm: 部署集群用的命令

• kubelet: 在集群中每台机器上都要运行的组件，负责管理pod、容器的生命周期

• kubectl:集群管理工具（可选，只要在控制集群的节点上安装即可）

9.安装指定版本 kubeadm，kubelet和kubectl

下载指定版本 kubeadm，kubelet和kubectl

# 配置yum源（科学上网的可以把"mirrors.aliyun.com"替换为"packages.cloud.google.com"）
$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 安装工具
# 找到要安装的版本号
$ yum list kubeadm --showduplicates | sort -r

# 安装指定版本（这里用的是1.14.0）
$ yum install -y kubeadm-1.14.0-0 kubelet-1.14.0-0 kubectl-1.14.0-0 --disableexcludes=kubernetes

# 设置kubelet的cgroupdriver（kubelet的cgroupdriver默认为systemd，如果上面没有设置docker的exec-opts为systemd，这里就需要将kubelet的设置为cgroupfs）
$ sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

#设置kubelet开机启动

systemctl enable kubelet

10. 部署Kubernetes主节点

💡 Tips：下面的操作只需要在master节点上执行即可（初始化完成后，最后会输出一个join命令，可以先保存后边会用）

kubeadm init \
  --apiserver-advertise-address=192.168.73.101 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.23.0 \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16 \
  --ignore-preflight-errors=all

–apiserver-advertise-address #集群通告地址(master 机器IP)
–image-repository #由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
–kubernetes-version #K8s版本，与上面安装的一致
–service-cidr #集群内部虚拟网络，Pod统一访问入口
–pod-network-cidr #Pod网络，与下面部署的CNI网络组件yaml中保持一致

#创建必要文件

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

把初始化生成的 join 命令 在这里执行：

💡 Tips：下面的操作只需要在node节点上执行即可(下面的命令是 k8s初始化的时候 生成的)

kubeadm join 192.168.73.101:6443 --token 7gqt13.kncw9hg5085iwclx \
--discovery-token-ca-cert-hash sha256:66fbfcf18649a5841474c2dc4b9ff90c02fc05de0798ed690e1754437be35a01

#默认token有效期为24小时，当过期之后，该token就不可用了。这时就需要重新创建token，可以直接使用命令快捷生成：

kubeadm token create --print-join-command

11.部署容器网络（CNI）

💡 Tips：以后所有yaml文件都只在Master节点执行。

Calico是一个纯三层的数据中心网络方案，是目前Kubernetes主流的网络方案。 下载YAML：

wget https://docs.projectcalico.org/manifests/calico.yaml

下载完后还需要修改里面定义Pod网络（CALICO_IPV4POOL_CIDR），与前面kubeadm init的

–pod-network-cidr指定的一样

我这里已经提前下载 配置好了，可以直接下载：
链接： https://pan.baidu.com/s/1xiRHLzxO2aThLyLmlTKd5Q
提取码：z867

#文件下载后，上传到master服务器，然后执行下面命令

kubectl apply -f calico.yaml

集群状态检测

#查看节点状态

kubectl get pods -n nodes

#查看通信状态

kubectl get pods -n kube-system -w(-w可以不带)

至此K8s已经部署完成。

1.部署nginx测试

#先创建一个yaml文件

vim nginx.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
  labels:
    app: nginx
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx 

#文件保存成功后 执行：

kubectl apply -f nginx.yaml

#再创建一个yaml文件

vim nginx-service.yaml

apiVersion: v1
kind: Service
metadata:
  name: nginx-service
spec:
  selector:
    app: nginx
  type: NodePort
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80

#文件保存成功后 执行：

kubectl apply -f nginx-service.yaml

#查看服务 （Running说明启动成功）

kubectl get pod,svc

然后就可以在浏览器打开nginx启动页 :

检查各种ip连通性

# 检查各 Node 上的 Pod IP 连通性
$ kubectl get pods -o wide

# 在每个节点上ping pod ip
$ ping <pod-ip>

# 检查service可达性
$ kubectl get svc

# 在每个节点上访问服务
$ curl <service-ip>:<port>

# 在每个节点检查node-port可用性
$ curl <node-ip>:<port>