群集服务验证失败_《蹲坑学Kubernetes》之：kubeadm部署Kubernetes-v1.18.6群集

一、环境准备

注意：在k8-smaster、k8s-node-1和k8s-node-2进行准备工作配置。

1、内核升级

[root@k8s-master ~]# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org[root@k8s-master ~]# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm[root@k8s-master ~]# yum -y update[root@k8s-master ~]# yum --enablerepo=elrepo-kernel install kernel-ml kernel-ml-devel -y[root@k8s-master ~]# cat /boot/grub2/grub.cfg | grep menuentry[root@k8s-master ~]# grub2-set-default "CentOS Linux (5.4.3-1.el7.elrepo.x86_64) 7 (Core)"[root@k8s-master ~]# grub2-editenv list

2、关闭防火墙

[root@k8s-master ~]# systemctl stop firewalld.service[root@k8s-master ~]# systemctl disable firewalld.service

3、关闭 Swap

[root@k8s-master ~]#swapoff -a#要永久禁掉swap分区，打开如下文件注释掉swap那一行[root@k8s-master ~]# vim /etc/fstab

4、关闭 SELinux

[root@k8s-master ~]# vim /etc/selinux/config修改：SELINUX=disable

5、配置转发参数

[root@k8s-master ~]# vim /etc/sysctl.d/k8s.conf添加：net.ipv4.ip_forward = 1net.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv6.conf.all.disable_ipv6 = 0net.ipv6.conf.default.forwarding = 1net.ipv6.conf.all.forwarding = 1vm.swappiness=0vm.overcommit_memory=1vm.panic_on_oom=0fs.inotify.max_user_watches=89100fs.file-max=52706963fs.nr_open=52706963net.core.default_qdisc = fqnet.ipv4.tcp_congestion_control = bbr [root@k8s-master ~]# modprobe bridge && modprobe br_netfilter[root@k8s-master ~]# sysctl -p

二、安装docker-ce-19

注意：在k8-smaster、k8s-node-1、k8s-node-2安装Docker。

[root@k8s-master ~]# vim /etc/yum.repos.d/docker.repo添加：[docker]name=Docker CE Stable - $basearchbaseurl=https://download.docker.com/linux/centos/7/$basearch/stableenabled=1gpgcheck=0 [root@k8s-master ~]# yum -y install docker-ce[root@k8s-master ~]# systemctl enable docker.service[root@k8s-master ~]# systemctl start docker.service[root@k8s-master ~]# systemctl status docker.service[root@k8s-master ~]# docker info

三、安装 Kubeadm:v1.18.6

注意：在k8-smaster、k8s-node-1和k8s-node-2中安装Kubeadm。

1、安装ipvsadm模块

[root@k8s-master ~]# yum install ipvsadm ipset -y[root@k8s-master ~]# modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4[root@k8s-master ~]# lsmod |egrep ip_vs

2、安装Kubeadm

[root@k8s-master ~]# vim /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesbaseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64enabled=1gpgcheck=0 [root@k8s-master ~]# yum -y install epel-release [root@k8s-master ~]# yum clean all[root@k8s-master ~]# yum makecache  下面就开始正式安装 Kubeadm 了：[root@k8s-master ~]# yum -y install kubelet kubeadm kubectl                   #默认安装最新版本

3、启动kubelet服务

[root@k8s-master ~]# systemctl enable kubelet.service[root@k8s-master ~]# systemctl start kubelet.service[root@k8s-master ~]# systemctl status kubelet.service

注意：此时kubelet.service服务是不会启动的，等到kubelet.service初始化后才会启动。

4、创建kubernetes集群

(1)查看该版本的容器镜像版本

[root@k8s-master ~]# kubeadm config images list

(2)下载镜像

[root@k8s-master ~]# vim k8s-dowm-images.sh添加：## 使用如下脚本下载国内镜像，并修改tag为google的tagset -eKUBE_VERSION=v1.18.6KUBE_PAUSE_VERSION=3.2ETCD_VERSION=3.4.3-0CORE_DNS_VERSION=1.6.7 GCR_URL=k8s.gcr.ioALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers images=(kube-proxy:${KUBE_VERSION}kube-scheduler:${KUBE_VERSION}kube-controller-manager:${KUBE_VERSION}kube-apiserver:${KUBE_VERSION}pause:${KUBE_PAUSE_VERSION}etcd:${ETCD_VERSION}coredns:${CORE_DNS_VERSION}) for imageName in ${images[@]} ; do  docker pull $ALIYUN_URL/$imageName  docker tag  $ALIYUN_URL/$imageName $GCR_URL/$imageName  docker rmi $ALIYUN_URL/$imageNamedone  [root@k8s-master ~]# chmod +x k8s-dowm-images.sh[root@k8s-master ~]# ./k8s-dowm-images.sh或者输入下载命令下载镜像[root@k8s-master ~]# kubeadm config images pull [root@k8s-master ~]# docker images

(3)初始化kubernetes集群

注意：在k8-smaster中进行初始化操作。

[root@k8s-master ~]# kubeadm init --kubernetes-version=v1.18.6 --apiserver-advertise-address=192.168.1.3 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.0.0.0/12注释： --kubernetes-version=v1.18.6 ： 加上该参数后启动相关镜像--pod-network-cidr=10.244.0.0/16 ：(Pod 中间网络通讯我们用flannel，与flannel保持一致，这个IP段就是Pod的IP段)--service-cidr=10.0.0.0/12 ： Service(服务)网段(和微服务架构有关)

(4)确认kubelet服务

[root@k8s-master ~]# systemctl status kubelet.service

[root@k8s-master ~]# netstat -anpt | grep kubelet

(5)配置kubectl认证信息

[root@k8s-master ~]# mkdir -p $HOME/.kube[root@k8s-master ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config[root@k8s-master ~]# chown $(id -u):$(id -g) $HOME/.kube/config

(6)将node节点加入Kubernetes群集

查看token[root@k8s-master ~]# kubeadm token list可以使用命令来获取token[root@k8s-master ~]# kubeadm token create --print-join-command 

将node节点加入群集

注意：在k8-node-1和k8-node-2中进行操作。

[root@k8s-node-1 ~]# kubeadm join 192.168.1.3:6443 --token rkaf1i.y7m2u7z068tgw7os     --discovery-token-ca-cert-hash sha256:09d6bd168550b25e30a43e7bda6db0ad650840d0ce5aa342e7c72b03d3805dc3 [root@k8s-node-2 ~]# kubeadm join 192.168.1.3:6443 --token rkaf1i.y7m2u7z068tgw7os     --discovery-token-ca-cert-hash sha256:09d6bd168550b25e30a43e7bda6db0ad650840d0ce5aa342e7c72b03d3805dc3

(7)查看群集运行状态

[root@k8s-master ~]# kubectl get pods -n kube-system

[root@k8s-master ~]# kubectl get nodes

注释：

NotReady：未准备好。原因是没有配置网络。

四、设置flannel网络

注意：在k8s-master、k8-node-1和k8-node-2中部署Flannel网络。

1、下载cni软件

[root@k8s-master ~]# wget https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz

2、部署cni

[root@k8s-master ~]# mkdir /opt/cni/bin -p[root@k8s-master ~]# tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin

3、下载配置文件

[root@k8s-master ~]# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

4、下载镜像

[root@k8s-master ~]# docker pull quay.io/coreos/flannel:v0.12.0-amd64

5、配置flannel配置文件

[root@k8s-master ~]# vim kube-flannel.yml修改：      "Network": "10.244.0.0/16", ##注意与master初始化保持一致。--pod-network-cidr=10.244.0.0/16      "Backend": {        "Type": "vxlan"      }……“name”: “cbr0”,      “cniVersion”: “0.3.1”,                   ##添加此行，确保pod之间能够通信。

6、创建flannel资源

[root@k8s-master ~]# kubectl apply -f kube-flannel.yml

7、查看flannel的Pod

[root@k8s-master ~]# kubectl get pods -n kube-system

[root@k8s-master ~]# kubectl get pods -n kube-system -o wide

[root@k8s-master ~]# kubectl get pods -n kube-system -o wide | grep flannel

8、验证Flannel网络

(1)在master上查看ip地址状态

[root@master ~]# ip a

[root@k8s-master ~]# ifconfig flannel.1

注：Flannel与cni0接口

(2)在node-1上查看ip地址状态

[root@k8s-node-1 ~]# ip a

[root@k8s-node-1 ~]# ifconfig flannel.1  &&  ifconfig cni0

(3)在node-2上查看ip地址状态

[root@k8s-node-2 ~]# ip a

[root@k8s-node-2 ~]# ifconfig flannel.1  &&  ifconfig cni0

(4)检查通信状况

注：ping Node节点中cni的IP，能通信为正常！

[root@k8s-master ~]# ping 10.244.1.1[root@k8s-master ~]# ping 10.244.2.1

五、Kubernetes群集测试

1、设置命令行自动补全功能

[root@k8s-master ~]# source /usr/share/bash-completion/bash_completion[root@k8s-master ~]# source 

2查看节点状态

(1)查看节点

[root@k8s-master ~]# kubectl get nodes

[root@k8s-master ~]# kubectl get nodes -o wide

[root@k8s-master ~]# kubectl get service --namespace=kube-system

(2)输出client 和server的版本信息

[root@k8s-master ~]# kubectl version

到此，kubernetes群集部署完毕！

六、安装kubernetes1.18.6的web-ui端：

1、下载dashboard配置文件

[root@k8s-master ~]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml

2、下载镜像

[root@k8s-master ~]# cat recommended.yaml | grep image:

[root@k8s-master ~]# docker pull kubernetesui/dashboard:v2.0.3[root@k8s-master ~]# docker pull kubernetesui/metrics-scraper:v1.0.4

3、修改配置文件

[root@k8s-master ~]# vim recommended.yaml##为了方便访问，修改kubernetes-dashboard的Service定义，指定Service的type类型为NodeType，指定nodePort端口添加：kind: ServiceapiVersion: v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kubernetes-dashboardspec:  type: NodePort                                ##添加type: NodePort，指定外部访问  ports:    - port: 443      targetPort: 8443      nodePort: 30000                          ##添加nodePort: 30000，指定访问端口。  selector:k8s-app: kubernetes-dashboard ……image: kubernetesui/dashboard:v2.0.3imagePullPolicy: IfNotPresent                           ##修改IfNotPresent……

4、创建dashboard

[root@k8s-master ~]# kubectl apply -f   recommended.yaml

[root@k8s-master ~]# kubectl get pods --all-namespaces  -o wide或者[root@k8s-master ~]# kubectl get pods -n kubernetes-dashboard

[root@k8s-master ~]# kubectl get pods -n kubernetes-dashboard -o wide

[root@k8s-master ~]# kubectl get service --all-namespaces或者[root@k8s-master ~]# kubectl get service -n kubernetes-dashboard

[root@k8s-master ~]# kubectl describe service kubernetes-dashboard -n kubernetes-dashboard

5、创建管理员账号

创建一个专用的 serviceaccount 帐号 dashboard-admin

[root@k8s-master ~]# kubectl create serviceaccount dashboard-admin -n kube-system

# 绑定角色 cluster-admin

[root@k8s-master ~]# kubectl create clusterrolebinding dashboard-cluster-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin

[root@k8s-master ~]# kubectl get sa -n kube-system

[root@k8s-master ~]# kubectl describe serviceaccount dashboard-admin -n kube-system

查找secret

[root@k8s-master ~]# kubectl get secret  --all-namespaces

6、获取dashboard-admin 的token值

[root@k8s-master ~]# kubectl describe secret dashboard-admin-token-lbvpl -n kube-system

7、客户端访问

[root@k8s-node-1 ~]# firefox https://192.168.1.1:30000/ &

首次方式需要添加安全例外。

使用Token认证登录，将之前查询的Token值复制粘贴过来即可。

登录成功后

---