Kubeadmin 搭建K8S 环境 与 Harbor 私有仓库

---

前言

• 大企业会用 二进制部署安装 K8s ，
• 中小型公司都会用搭建更方便的 Kubeadmin 、Rancher 集群管理工具 进行搭建，
• Rancher：https://rancher.com/docs/rancher/v1.6/zh/

一、Kubeadmin

• Kubeadmin 也是一个工具，提供 yum 安装 kubeadm init 和 kubeadm join，用于快速部署K8s集群，相对简单。
• 部署地址: https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
• 缺点：证书只有一年，修改证书有效期为 100 年（默认为 1 年）vim ./cmd/kubeadm/app/constants/constants.go，CertificateValidity =24.365.100 修改后需要重新编译和安装服务。
• 自带服务检测修复重启功能，需要将 kubectl 设置开机自启动，并且 swapoff -a 需要将系统交换分区功能关闭；而二进制则需要手动配置高可用。

需要四台机器，部署单Master

二、使用 Kubeadmin 部署 k8s

2.1 环境准备 与 搭建步骤

//先所有机器关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

master（2C/4G，cpu核心数必须大于2）		192.168.10.40		docker、kubeadm、kubelet、kubectl、flannel  
node01（2C/2G）							192.168.10.50		docker、kubeadm、kubelet、kubectl、flannel  	
node02（2C/2G）							192.168.10.60		docker、kubeadm、kubelet、kubectl、flannel  
Harbor节点（hub.dbk.com）				192.168.10.70		docker、docker-compose、harbor-offline-v1.2.2  

#修改所有主机的主机名（方便部署）
hostnamectl set-hostname master --10.40
hostnamectl set-hostname node01 --10.50
hostnamectl set-hostname node02 --10.60
hostnamectl set-hostname hub.dbk.com --10.70

搭建步骤

1、在所有Node节点上安装 Docker 和 kubeadm
2、部署 Kubernetes Master
3、部署容器网络插件
4、部署 Kubernetes Node，将节点加入Kubernetes集群中
5、部署 Dashboard Web 页面，可视化查看Kubernetes资源
6、部署 Harbor 私有仓库，存放镜像资源

2.2 修改节点配置，满足搭建要求

master 和 两台 node 都执行

//所有节点，关闭防火墙规则，关闭swap交换
iptables -F

#搭建 kubeadmin 必须将关闭系统交换分区，因为会影响性能
swapoff -a						

#加载 ip_vs 模块，
#因为Node 节点的 kube-proxy 用的是 IPVS 流量调度模式，所以要加载
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done


//所有节点修改hosts文件，IP 对应 主机名
vim /etc/hosts
192.168.10.40 master
192.168.10.50 node01
192.168.10.60 node02

开机就关闭 swap交换分区，注释对应行就行

//调整内核参数

cat > /etc/sysctl.d/kubernetes.conf << EOF
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
#关闭ipv6协议
net.ipv6.conf.all.disable_ipv6=1
#开启路由转发模式
net.ipv4.ip_forward=1
EOF

//重新加载系统配置文件使配置参数生效
sysctl --system  

2.3 所有节点安装 Docker

master 和 两台 node 都执行
用在线yum源

yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce docker-ce-cli containerd.io

systemctl start docker.service
systemctl enable docker.service 

mkdir /etc/docker

#设置镜像加速，与资源管理模式
cat > /etc/docker/daemon.json <<EOF
{
   
  "registry-mirrors": ["https://6ijb8ubo.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
   
    "max-size": "100m"
  }
}
EOF

#使用 Systemd 管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd 限制CPU、内存等资源更加简单和成熟稳定。
#日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志。

#重启加载配置，启动服务
systemctl daemon-reload
systemctl restart docker.service
systemctl enable docker.service 

docker info | grep "Cgroup Driver"
Cgroup Driver: systemd

2.4 所有节点安装 kubeadm，kubelet 和 kubectl

master 和 两台 node 都执行

------- 所有节点安装kubeadm，kubelet 和 kubectl --------

//用yum安装，需要定义 kubernetes 源，我们用阿里源，国内速度快

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

yum install -y kubelet-1.15.1 kubeadm-1.15.1 kubectl-1.15.1

//开机自启kubelet
systemctl enable kubelet.service

#K8S通过 kubeadm 安装出来以后都是 以Pod方式存在，
#即底层是以容器方式运行，所以kubelet必须设置开机自启

• K8S通过 kubeadm 安装出来以后都是 以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启

2.5 部署K8S集群

master

//查看初始化需要的镜像/包

kubeadm config images list

//在 master 节点上传 kubeadm-basic.images.tar.gz 压缩包至 /opt 目录
cd /opt
#都是提前准备好的镜像包

tar zxvf kubeadm-basic.images.tar.gz

for i in $(ls /opt/kubeadm-basic.images/*.tar); do docker load -i $i; done

master复制到 node执行

//复制镜像和脚本到 node 节点，并在 node 节点上执行脚本  bash /opt/load-images.sh
scp -r kubeadm-basic.images root@