基于二进制方式搭建K8s集群-前置环境准备

1、K8s架构速览

Kubernetes+是一个开源的容器编排引擎，用来对容器化应用进行自动化部署、扩缩和管理。

• kube-apiserver
  集群统一入口，以restful方式，交互数据给Etcd存储；
• kube-controller-manager
  处理集群中常规后台任务，一个资源对应一个控制器，维持副本期望数；
• kubectl
  kubernetes命令行工具；
• kubelet
  master派到work的agent，直接跟容器引擎交互，实现容器生命周期管理；
• kube-proxy
  提供网络代理，负载均衡等。其实就是管理service的访问入口，包括集群内Pod到Service的访问和集群外访问service；
• kube-scheduler
  节点调度，选择node节点部署应用；

2、整体部署流程说明

（1）创建多台虚拟机，安装Linux操作系统；
（2）操作系统初始化；
（3）为etcd何apiserver创建自签证书；
（4）部署etcd集群；
（5）部署master组件；
（6）部署node组件；
（7）部署集群网络插件；

3、 环境准备

（1）安装要求

• 一台或者多台虚拟机，操作系统CentOS7.x-86_64或者更高版本；
• 硬件配置：2GB或者更多RAM，2个CPU或者更多CPU，硬盘30G+；
• 可以访问外网，以便拉取镜像，如果服务器不能上网，需提前下载镜
  并导入到节点；
• 禁用swap分区

（2）环境规划

角色	hostName	IP	组件
master	k8s-master	192.168.0.1	kube-apiserver，kube-controller-manager，kube-scheduler，flannel，etcd
node	k8s-node1	192.168.0.2	kubelet，kube-proxy，docker，etcd
node	k8s-node2	192.168.0.3	kubelet，kube-proxy，docker，etcd

3、操作系统初始化配置

如下配置针对所有部署节点k8s-master，k8s-node1，k8s-node2。

（1）设置主机名称和hosts配置

 hostnamectl set-hostname k8s-master
 hostnamectl set-hostname k8s-node1
 hostnamectl set-hostname k8s-node2
 #辅助命令：hostname   查看主机名称

全部虚拟机修改vi /etc/hosts

 cat >> /etc/hosts << EOF
 192.168.0.1 k8s-master
 192.168.0.2 k8s-node1
 192.168.0.3 k8s-node2
 
 EOF

（2）安装依赖包

#ntpdate校时服务,iptables服务,其他docker依赖包
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git

（3）关闭 SELINUX

swapoff -a && sed -ri 's/.\*swap.\*/#&/' /etc/fstab

setenforce 0 && sed -i 's/^SELINUX=.\*/SELINUX=disabled/' /etc/selinux/config

（4）关闭防火墙

#关闭并禁用防火墙
systemctl stop firewalld && systemctl disable firewalld
#安装(如果不存在)iptables,centos及以上模式fiewalld，centos以下默认iptables
#查看是否启用：systemctl status iptables.service
yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

（5）调整K8s使用内核参数

#桥接ipv4流量传递到iptables的链

cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720

EOF

cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
#立即生效
sysctl -p /etc/sysctl.d/kubernetes.conf

（6）调整系统时区
针对已经做好初始化的虚拟机，可以省略；

# 设置系统时区为 中国/上海
timedatectl set-timezone Asia/Shanghai
# 将当前的 UTC 时间写入硬件时钟
timedatectl set-local-rtc 0
# 重启依赖于系统时间的服务
systemctl restart rsyslog

systemctl restart crond

（7）关闭postfix服务

systemctl stop postfix && systemctl disable postfix

（8）配置系统日志(rsyslogd 和 systemd journald)
当/var/log/messages有几个G的日志。日志内容rsyslog把Journal的log都进行的输出和汇总。当容器越多是，log也就会也多，内存占用也就越多，同时也可能导致systemd-journald内存占用过高。

# 持久化保存日志的目录
mkdir /var/log/journal 
mkdir /etc/systemd/journald.conf.d

cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大占用空间 10G
SystemMaxUse=10G
# 单日志文件最大 200M
SystemMaxFileSize=200M
# 日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到 syslog
ForwardToSyslog=no

EOF

systemctl restart systemd-journald

（9）升级系统内核为 4.44

#当部署CentOS7时内核3.x，可以选择是否升级；
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装一次！
yum --enablerepo=elrepo-kernel install -y kernel-lt
# 设置开机从新内核启动
grub2-set-default 'CentOS Linux (4.4.241-1.el7.elrepo.x86_64) 7 (Core)'

（10）kube-proxy开启ipvs的前置条件

modprobe br_netfilter

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash 
modprobe -- ip_vs 
modprobe -- ip_vs_rr 
modprobe -- ip_vs_wrr 
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4 

EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

（11）关闭NUMA(Non-Uniform Memory Access)
SWAP的罪与罚文章就说到了一个numa的陷阱的问题。现象是当你的服务器还有内存的时候，发现它已经在开始使用swap了，甚至已经导致机器出现停滞的现象。这个就有可能是由于numa的限制，如果一个进程限制它只能使用自己的numa节点的内存，那么当自身numa node内存使用光之后，就不会去使用其他numa node的内存了，会开始使用swap，甚至更糟的情况，机器没有设置swap的时候，可能会直接死机！所以你可以使用numactl --interleave=all来取消numa node的限制

cp /etc/default/grub{,.bak}
vim /etc/default/grub
GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet numa=off"
cp /boot/grub2/grub.cfg{,.bak}
grub2-mkconfig -o /boot/grub2/grub.cfg

4、需要下载文件一览

• cfssl证书生成工具
  cfssl是一个开源的证书管理工具，使用json文件生成证书，相比openssl更方便使用。找任意一台服务器操作，这里使用k8s-master节点。

 wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
 wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
 wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64

• etcd数据库:

https://github.com/etcd-io/etcd/releases/download/v3.4.9/etcd-v3.4.9-linux-amd64.tar.gz

• docker容器技术:

https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz

• kubernetes

#可以下载1.18或者1.19版本
https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.18.md
下载：kubernetes-server-linux-amd64.tar.gz 

• CNI网络:

https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz
#设置阿里云镜像仓库下载
docker pull quay.io/coreos/flannel:v0.13.0
https://gitee.com/zjinho/deploy-back-end-project/raw/master/kube-flannel.yml

• 部署Dashboard:

docker pull kubernetesui/dashboard:v2.0.0
docker pull kubernetesui/metrics-scraper:v1.0.1