kubernetes(一)kubeadm搭建k8s集群

使用kubeadm搭建一个k8s集群

1个MasterNode,2个WorkNode

步骤

1.准备3台centos机器 

可以使用阿里云，也可以使用virtualbox或者vm
MasterNode: 192.168.56.51 
WorkNode: 192.168.56.61  192.168.56.62

2.更新并安装依赖

yum -y update
yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp

3.安装docker

## 在每一台机器上都安装好Docker，版本为18.09.0
 01 安装必要的依赖
 sudo yum install -y yum-utils device-mapper-persistent-data lvm2
   
 02 设置docker仓库
 sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
 03 设置阿里云镜像加速器
 sudo mkdir -p /etc/docker
 sudo tee /etc/docker/daemon.json <<-'EOF'
 { 
   "registry-mirrors": ["https://2a3ats4n.mirror.aliyuncs.com"]
 }
 EOF
 sudo systemctl daemon-reload

 04 安装docker
 yum install -y docker-ce-18.09.0 docker-ce-cli-18.09.0 containerd.io
 
 05 启动docker
 sudo systemctl start docker && sudo systemctl enable docker

4.修改hosts文件
(1) master
设置master的hostname，并且修改hosts文件
sudo hostnamectl set-hostname m

vi /etc/hosts
192.168.56.51 m
192.168.56.61 w1
192.168.56.62 w2

 (2) 两个worker
 设置worker01/02的hostname，并且修改hosts文件
 sudo hostnamectl set-hostname w1
 sudo hostnamectl set-hostname w2

vi /etc/hosts
192.168.56.51 m
192.168.56.61 w1
192.168.56.62 w2

成功后可以通过hostname ping 通

5.系统基础前提配置

# (1)关闭防火墙
systemctl stop firewalld && systemctl disable firewalld

# (2)关闭selinux
selinux:目的是指明某个进程可以访问哪个资源

setenforce 0 

sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

# (3)关闭swap
类似于windows下的虚拟内存，用于解决内存不够的问题
swapoff -a 
sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab

# (4)配置iptables的ACCEPT规则
iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT

# (5)设置系统参数
cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
重启
sysctl --system

6.安装kubeadm, kubelet and kubectl

(1)配置yum源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

(2)安装kubeadm&kubelet&kubectl

yum install -y kubeadm-1.14.0-0 kubelet-1.14.0-0 kubectl-1.14.0-0

(3)将docker和k8s设置同一个cgroup

# 设置docker的cgroup 
vi /etc/docker/daemon.json
    "exec-opts": ["native.cgroupdriver=systemd"],
    
systemctl restart docker
    
# 设置kubelet的cgroup  检验kubelet的cgroup的方式是否是systemd,如果不是则修改，如果是就输出 No such file or directory

sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g"  /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
	
systemctl enable kubelet && systemctl start kubelet

7.下载镜像

查看发现kubeadm安装的镜像都是国外的，所以我们需要提前下载镜像，并打tag。由于镜像文件比较多，写成一个shell脚本执行

创建下载镜像的kubeadm.sh

#!/bin/bash

set -e

KUBE_VERSION=v1.14.0
KUBE_PAUSE_VERSION=3.1
ETCD_VERSION=3.3.10
CORE_DNS_VERSION=1.3.1

GCR_URL=k8s.gcr.io
ALIYUN_URL=registry.cn-shenzhen.aliyuncs.com/chenpp_google_containers

images=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
coredns:${CORE_DNS_VERSION})

for imageName in ${images[@]} ; do
  docker pull $ALIYUN_URL/$imageName
  docker tag  $ALIYUN_URL/$imageName $GCR_URL/$imageName
  docker rmi $ALIYUN_URL/$imageName
done

 

# 运行脚本
sh ./kubeadm.sh

查看镜像，上述需要的镜像都下载成功

8.kube init初始化master

(1)初始化master节点

##在MasterNode上执行 若要重新初始化集群状态：kubeadm reset，然后再进行上述操作
kubeadm init --kubernetes-version=1.14.0 --apiserver-advertise-address=192.168.56.51 --pod-network-cidr=10.244.0.0/16

保存最后的join信息

(2)根据init最后的提示执行

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

kubectl cluster-info 查看集群信息

查看当前运行的Pod,发现DNS还处于Pending,因为它需要网络插件来运行

9.部署calico网络插件

# 同样在master节点上操作
# 在k8s中安装calico
kubectl apply -f https://docs.projectcalico.org/v3.9/manifests/calico.yaml

至此MasterNode的安装都成功了

10.将WorkNode添加到集群里

在work上执行上面保存的join命令

kubeadm join 192.168.56.51:6443 --token 40okff.0orjd65xhqezpsht \
    --discovery-token-ca-cert-hash sha256:b07f41dde98ec41d6c9365a397b8d1c5b07629beb2ceb41b6810af70393bc13d 

查看一下集群节点，完成

如果重启虚拟机之后，k8s的命令无法正常执行，并且无法通过systemctl来重启，如下图:

可以在每台节点上都执行一下：kubeadm reset，回到步骤的kubeadm init 重新搭建K8s集群

重新搭建之后如果kubectl get nodes，发现nodes状态变成NotReady
通过kubectl get pods -n kube-system
检查下当前的网络插件是否正常，比如calico，如果不正常或者没有安装，参照前面文档的方式安装网络插件calico