kubeadm部署k8s集群

架构规划

操作系统
　　　　CentOS7.6_x64
软件版本
　　　　Docker 18.09.0-ce
　　　　Kubernetes 1.11
服务器角色、 IP
　　　　master　　　　　192.168.75.139 　　　
　　　　node1　　　　　192.168.75.140
　　　　node2　　　　　192.168.75.141

机器配置要求
　　　　2G
　　　　２核
注意
　必须要进行互相解析

获取镜像

在dockerhub上拉取相应的镜像并重新打标。由于版本更新过快，拉取镜像的时候，一定要更改最新的版本。三台机器都要拉取镜像。

docker pull mirrorgooglecontainers/kube-apiserver:v1.15.0
docker tag mirrorgooglecontainers/kube-apiserver:v1.15.0 k8s.gcr.io/kube-apiserver:v1.15.0
docker pull mirrorgooglecontainers/kube-controller-manager:v1.15.0
docker tag mirrorgooglecontainers/kube-controller-manager:v1.15.0 k8s.gcr.io/kube-controller-manager:v1.15.0
docker pull mirrorgooglecontainers/kube-scheduler:v1.15.0
docker tag mirrorgooglecontainers/kube-scheduler:v1.15.0 k8s.gcr.io/kube-scheduler:v1.15.0
docker pull mirrorgooglecontainers/kube-proxy:v1.15.0
docker tag mirrorgooglecontainers/kube-proxy:v1.15.0 k8s.gcr.io/kube-proxy:v1.15.0
docker pull mirrorgooglecontainers/pause:3.1
docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1
docker pull mirrorgooglecontainers/etcd:3.3.10-1
docker tag mirrorgooglecontainers/etcd:3.3.10-1 k8s.gcr.io/etcd:3.3.10-1
docker pull coredns/coredns:1.3.1
docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1
docker pull quay.io/coreos/flannel:v0.11.0-amd64

系统配置

关闭防火墙

#systemctl stop firewalld
#systemctl disable firewalld

禁用Selinux

#sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux

关闭系统的swap

修改/etc/fstab 文件， 注释掉 SWAP 的自动挂载， 使用 free -m 确认 swap 已经关闭。

#swapoff -a
#sed -i 's/.*swap.*/#&/' /etc/fstab
#free -m

安装docker

# yum install -y yum-utils device-mapper-persistent-data lvm2
# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# yum makecache fast
# yum -y install docker-ce
# systemctl enable docker.service
# systemctl restart docker

安装kubeadm和kubelet

在所有节点安装这俩

配置源

# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装

# yum makecache fast
# yum install -y kubelet kubeadm  ipvsadm

配置

# cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness=0
EOF

配置生效

# sysctl --system

加载ipvs相关内核模块

如果重新开机， 需要重新加载（ 可以写在 /etc/rc.local 中开机自动加载）

# modprobe ip_vs
# modprobe ip_vs_rr
# modprobe ip_vs_wrr
# modprobe ip_vs_sh
# modprobe nf_conntrack_ipv4

查看是否加载成功

# lsmod | grep ip_vs

配置启动 kubelet（ 所有节点）

配置 kubelet 使用国内 pause 镜像

获取 docker 的 cgroups

# DOCKER_CGROUPS=$(docker info | grep 'Cgroup' | cut -d' ' -f4)
# echo $DOCKER_CGROUPS

配置 kubelet 的 cgroups

cat >/etc/sysconfig/kubelet<<EOF
KUBELET_EXTRA_ARGS="--cgroup-driver=$DOCKER_CGROUPS
--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause-amd64:3.1"
EOF

启动

# systemctl daemon-reload
# systemctl enable kubelet && systemctl restart kubelet

在这里使用systemctl status kubelet ，会有报错信息，kubelet会不断的重启，此处的报错不用管，先忽略，在运行kubeadm init 生成ca证书后会被自动解决。

配置master节点

初始化

# kubeadm init --kubernetes-version=v1.15.0 --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=192.168.75.139 --ignore-preflight-errors=Swap

初始化成功后，生成了token记录，复制下如图所示的内容，留着后续把node节点加入集群的时候用它

配置使用kubelet

在master节点操作

# rm -rf $HOME/.kube
# mkdir -p $HOME/.kube
# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# chown $(id -u):$(id -g) $HOME/.kube/config

查看node节点

# kubectl get nodes

配置使用网络插件

在master节点操作

下载配置

# cd ~ && mkdir flannel && cd flannel
# curl -O https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

修改配置文件，就是刚刚下载的flannel的yml文件
1、添加node节点的网卡

containers:
- name: kube-flannel
image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64
command:
- /opt/bin/flanneld
args:
- --ip-masq
- --kube-subnet-mgr
- --iface=ens33   #这里我添加的是虚拟机的网卡

2、设置污点的容忍

tolerations:
- key: node-role.kubernetes.io/master
  operator: Exists
  effect: NoSchedule
- key: node.kubernetes.io/not-ready    #以下三行是添加内容
  operator: Exists
  effect: NoSchedule

启动

# kubectl apply -f ~/flannel/kube-flannel.yml

查看

# kubectl get pods --namespace kube-system
# kubectl get service
# kubectl get svc --namespace kube-system

配置node节点加入集群

在所有 node 节点操作， 此命令为初始化 master 成功后返回的结果

# kubeadm join 192.168.1.200:6443 --token ccxrk8.myui0xu4syp99gxu --discovery-token-ca-cert-hash
sha256:e3c90ace969aa4d62143e7da6202f548662866dfe33c140095b020031bff2986

各种检测

查看pods

# kubectl get pods -n kube-system

如果status 不是running，查看异常pod信息

查看异常pod信息

# kubectl describe pods kube-flannel-ds-sr6tq -n kube-system

删除异常 pod

# kubectl delete pod kube-flannel-ds-sr6tq -n kube-system

查看节点

# kubectl get nodes -n kube-system
NAME STATUS ROLES AGE VERSION
master Ready master 16h v1.14.2
node1 Ready <none> 16h v1.14.2
node2 Ready <none> 16h v1.14.2

成功出现这个，就说明已经kubeadm部署k8s集群已经部署成功。