k8s集群安装与配置

PS: 记录一下学习k8s的过程，以下为虚拟机环境安装步骤，仅供学习参考

环境需求

1.虚拟机软件：VMware 版本：16.1.0 build-17198959
2.CentOS :版本CentOS 7.8（务必保证版本高于7.6，也不要用8）
3.集群节点

主机名	主机IP
k8s-master-01	192.168.8.186
k8s-node-01	192.168.8.187
k8s-node-02	192.168.8.188
k8s-node-03	192.168.8.189

4.硬件要求

硬件	要求
cpu	至少2核
内存	至少3G
硬盘	至少50G

配置CentOS

配置阿里云源

1.下载安装wget
yum install -y wget
2.备份默认的yum
mv /etc/yum.repos.d /etc/yum.repos.d.backup
3.设置新的yum目录
mkdir -p /etc/yum.repos.d
4.下载阿里yum配置到该目录中，选择对应版本
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
5..更新epel源为阿里云epel源
#mv /etc/yum.repos.d/epel.repo /etc/yum.repos.d/epel.repo.backup
#mv /etc/yum.repos.d/epel-testing.repo /etc/yum.repos.d/epeltesting.repo.backup
#学习的教程中给了上面两条命令 备份epel源，我在搭建时提示我没有/etc/yum.repos.d/epel.repo这个文件，我就直接跳过了这一步
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
6.重建缓存
yum clean all
yum makecache

升级系统内核

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install -y kernel-lt
grep initrd16 /boot/grub2/grub.cfg
grub2-set-default 0 #选择第一个作为默认启动内核

CentOS系统配置

1.关闭防火墙并关闭开机启动
systemctl stop firewalld
systemctl disable firewalld
2.关闭selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux
setenforce 0
3.网桥过滤
vi /etc/sysctl.conf
#在文件最后插入以下内容
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-arptables = 1
net.ipv4.ip_forward=1
net.ipv4.ip_forward_use_pmtu = 0
#生效命令
sysctl --system
#查看效果
sysctl -a|grep "ip_forward"
4.开启IPVS（负载均衡）
#安装IPVS（）centos7.8已经内置了）
yum -y install ipset ipvsdm
#编译ipvs.modules文件
vi /etc/sysconfig/modules/ipvs.modules
#文件内容如下
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
#modprobe -- nf_conntrack_ipv4 注意！！！：我这里升级完内核后内核版本是5.x了，nf_conntrack_ipv4参数已经改为nf_conntrack了，如果是低版本4.x的应该还是nf_conntrack_ipv4，根据自己情况选择
modprobe -- nf_conntrack
#赋予权限并执行
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules &&lsmod | grep -e ip_vs -e nf_conntrack

看到这个说明成功了

5.同步时间
#安装软件
yum -y install ntpdate
#向阿里云服务器同步时间
ntpdate time1.aliyun.com
#删除本地时间并设置时区为上海
rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
#查看时间
date -R || date
6.命令补全工具
#安装bash-completion
yum -y install bash-completion bash-completion-extras
#使用bash-completion
source /etc/profile.d/bash_completion.sh
7.关闭swap分区(k8s官方要求关闭swap分区)
#临时关闭：
swapoff -a
#永久关闭：
vi /etc/fstab
#将文件中的/dev/mapper/centos-swap这行代码注释掉
#/dev/mapper/centos-swap swap swap defaults 0 0
#确认swap已经关闭：若swap行都显示 0 则表示关闭成功
free -m
8.hosts配置
vi /etc/hosts
#在文件最后插入以下内容
192.168.8.186 k8s-master01
192.168.8.187 k8s-node01
192.168.8.188 k8s-node02
192.168.8.189 k8s-node03
9.设置hostname
hostnamectl set-hostname k8s-master01
bash

ok，CentOS配置完成，重新启动
查看下配置是否都生效

#查看系统内核
uname -r
#查看网桥
sysctl -a|grep "ip_forward"

拍摄快照，万一翻车了可以从快照恢复，以免从头开始！！！

安装docker

1.安装docker前置条件
yum install -y yum-utils device-mapper-persistent-data lvm2
2.添加源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache fast
3.查看docker更新版本
yum list docker-ce --showduplicates | sort -r
4.安装最新版docker
yum -y install docker-ce
#安装指定版本：yum -y install docker-ce-18.09.8
#查看docker版本
docker version
5.开启docker服务
systemctl start docker
systemctl status docker
6.安装阿里云镜像加速器（这个一定要搞，要不然直接从docker官方仓库下载镜像特别慢）
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["自己的阿里云镜像加速地址"]
}
EOF
systemctl daemon-reload
systemctl restart docker

ps:如何查看自己的阿里云镜像加速地址，阿里云地址aliyun.com，使用自己账户登陆，登陆成功后在产品>镜像服务>容器镜像服务 ACR位置，进入控制台

把这个地址复制下来写到6中的配置中。

7.设置docker开机启动服务
systemctl enable docker
8.修改Cgroup Driver
vi /etc/docker/daemon.json
#加入如下配置
"exec-opts": ["native.cgroupdriver=systemd"]

#重启docker服务：
systemctl daemon-reload
systemctl restart docker
#查看修改后状态：
docker info | grep Cgroup

PS:
修改cgroupdriver是为了消除安装k8s集群时的告警：
[WARNING IsDockerSystemdCheck]:
detected “cgroupfs” as the Docker cgroup driver. The recommended driver is “systemd”.
Please follow the guide at https://kubernetes.io/docs/setup/cri/…

ok,docker安装完成，记得拍快照！！！！

使用kubeadm快速安装

1.新建repo文件，插入内容
vi /etc/yum.repos.d/kubernates.repo
#文件内容
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
2.更新缓存
yum clean all
yum -y makecache
3.验证源是否可用
yum list | grep kubeadm
#如果提示要验证yum-key.gpg是否可用，输入y。查找到kubeadm。显示版本
4.安装k8s1.17.5
yum install -y kubelet-1.17.5 kubeadm-1.17.5 kubectl-1.17.5
5.设置kubulet
vi /etc/sysconfig/kubelet
#文件内容
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
#如果不配置kubelet，可能会导致K8S集群无法启动。为实现docker使用的cgroupdriver与kubelet使用的cgroup的一致性。
#设置开机启动
systemctl enable kubelet

初始化镜像

1.查看安装集群需要的镜像
kubeadm config images list

红框内部分为k8s集群安装需要的镜像，注意版本！！！

2.编写镜像脚本
mkdir -p /data
cd /data
vi images.sh
#脚本内容
#!/bin/bash
images=(
kube-apiserver:v1.17.5
kube-controller-manager:v1.17.5
kube-scheduler:v1.17.5
kube-proxy:v1.17.5
pause:3.1
etcd:3.4.3-0
coredns:1.6.5
)
for imageName in ${images[@]} ;
do
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done

脚本解释：通过步骤1中可以看到需要以k8s.gcr.io开头的镜像，但是国内不能下载k8s.gcr.io开头的镜像，所以从阿里云下载不带有k8s.gcr.io的镜像，然后通过tag命令改名为以k8s.gcr.io开头的镜像，再将从阿里云下载的镜像删除

有个疑问，步骤1中查询k8s集群需要的镜像，明明是v1.7.17,我以为就下载v1.7.17版本的，结果初始化集群网络的时候告诉我需要v1.7.5，不知道为啥，又重新弄了v1.7.5版本的镜像就好了

#3.给脚本授权
chmod +x images.sh
#执行脚本
./images.sh
4.保存镜像供以后使用
docker save -o k8s.1.17.17.tar \
k8s.gcr.io/kube-proxy:v1.17.17 \
k8s.gcr.io/kube-apiserver:v1.17.17 \
k8s.gcr.io/kube-controller-manager:v1.17.17 \
k8s.gcr.io/kube-scheduler:v1.17.17 \
k8s.gcr.io/coredns:1.6.5 \
k8s.gcr.io/etcd:3.4.3-0 \
k8s.gcr.io/pause:3.1 \
5.下载k8s集群网络所需的镜像
docker pull calico/cni:v3.14.2
docker pull calico/pod2daemon-flexvol:v3.14.2
docker pull calico/node:v3.14.2
docker pull calico/kube-controllers:v3.14.2

ok搞定，记得拍照

k8s集群初始化

注意：1-3步都是在master节点上完成
1.以k8s-master01主机作为模板，分别克隆为为k8s-node01,k8s-node02,k8s-node03,k8s-node03主机，克隆步骤略，注意一定要创建完整克隆，不可以创建链接克隆，克隆好后为每一台主机修改ip和host那么对应着集群节点列表。

2.初始化集群信息:calico网络
kubeadm init --apiserver-advertise-address=192.168.8.186 --kubernetes-version v1.17.5 --service-cidr=10.1.0.0/16 --pod-network-cidr=10.81.0.0/16

看到上面的信息就说明初始化成功了，红框是两个比较重要的信息，上面的是说要加它给的配置，下面的命令是其他集群节点加入集群的命令

3.执行初始化成功后给的配置信息
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
4.node节点加入集群
#分别在node01,noede02,node03上执行加入上面的加入节点命令，加入成功后在master节点输入命令查看集群节点信息
kubectl get nodes

看到4个节点STATUS都是NotReady，这是因为网络还没有安装，下面开始安装calico网络

5.安装calico网络
需要准备calico.yml文件，下载地址：https://docs.projectcalico.org/v3.14/manifests/calico.yaml
打开后把浏览器里的内容全部复制，在master节点/data目录下创建calico.yml，把复制的内容粘贴进去，然后执行
kubectl apply -f calico.yml
#稍等一会再查看节点信息

6.添加kube命令补全
echo "unset MAILCHECK">> /etc/profile
source /etc/profile
7.yum-key.gpg验证未通过问题处理（我没遇到）
wget https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
wget https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
rpm --import yum-key.gpg
rpm --import rpm-package-key.gpg

ok，搞定~~~