K8S环境部署

K8S环境部署: ---> 所有节点操作
    1.虚拟机操作系统环境准备
参考链接:
    https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

    2.关闭swap分区
        1)临时关闭
swapoff -a && sysctl -w vm.swappiness=0
        2)基于配置文件关闭
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab

    3.确保各个节点MAC地址或product_uuid唯一
ifconfig  eth0  | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid 

    温馨提示:
        一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。 
        Kubernetes使用这些值来唯一确定集群中的节点。 如果这些值在每个节点上不唯一，可能会导致安装失败。

    4.检查网络节点是否互通
简而言之，就是检查你的k8s集群各节点是否互通，可以使用ping命令来测试。

    5.允许iptable检查桥接流量
cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

    6.检查端口是否被占用
参考链接: https://kubernetes.io/zh/docs/reference/ports-and-protocols/

    7.检查docker的环境    
参考链接:
    https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.15.md#unchanged
    
        1)配置docker源
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
yum list docker-ce --showduplicates

        2)安装指定的docker版本
yum -y install docker-ce-18.09.9 docker-ce-cli-18.09.9
yum -y install bash-completion
source /usr/share/bash-completion/bash_completion

        3)打包软件包分发到其他节点部署docker（此步骤可跳过）
mkdir docker-rpm-18-09 && find /var/cache/yum -name "*.rpm" | xargs mv -t docker-rpm-18-09/

    温馨提示: （其他节点快速部署即可）
wget http://192.168.11.253/Docker/day07-/softwares/oldboyedu-docker1809.tar.gz
tar xf oldboyedu-docker1809.tar.gz && cd docker-rpm-18-09/ && yum -y localinstall *.rpm 
source /usr/share/bash-completion/bash_completion

        4)配置docker优化
mkdir -pv /etc/docker && cat <<EOF | sudo tee /etc/docker/daemon.json
{
  "insecure-registries": ["k8s151.oldboyedu.com:5000"],
  "registry-mirrors": ["https://tuv7rqqq.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
    
        5)配置docker开机自启动
systemctl enable --now docker && systemctl status docker

    8.禁用防火墙
systemctl disable --now firewalld

    9.禁用selinux
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config 
grep ^SELINUX= /etc/selinux/config

    10.配置host解析
cat >> /etc/hosts <<'EOF'
10.0.0.151        k8s151.oldboyedu.com
10.0.0.152        k8s152.oldboyedu.com
10.0.0.153        k8s153.oldboyedu.com
EOF
cat /etc/hosts

    11.在k8s151.oldboyedu.com节点启用docker registry的私有仓库
docker run -d --network host --restart always --name oldboyedu-registry registry:2

所有节点安装kubeadm，kubelet，kubectl  ---> 所有节点
    1.配置软件源
cat  > /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
EOF

    2.安装kubeadm，kubelet，kubectl软件包
yum -y install kubeadm-1.15.12-0 kubelet-1.15.12-0 kubectl-1.15.12-0 

    3.查看kubeadm的版本（将来你要安装的K8S时请所有组件版本均保持一致!）
yum -y list kubeadm --showduplicates | sort -r

    4.启动kubelet服务(若服务启动失败时正常现象，其会自动重启，因为缺失配置文件，初始化集群后恢复！此步骤可跳过！)
systemctl enable --now kubelet && systemctl status kubelet

    5.温馨提示:（可以将k8s软件打包到其他节点安装哟，前提是得开启rpm包缓存。）
    mkdir k8s-rpm && find /var/cache/yum -name "*.rpm" | xargs mv -t k8s-rpm

参考链接:
    https://kubernetes.io/zh/docs/tasks/tools/install-kubectl-linux/

    温馨提示: (安装K8S快速部署)
wget http://192.168.11.253/Docker/day07-/softwares/oldboyedu-k8s-1_15_12.tar.gz
tar xf oldboyedu-k8s-1_15_12.tar.gz && cd k8s-1_15_12/  && yum -y localinstall *.rpm

初始化master节点:  ---> master ---> k8s151.oldboyedu.com
    (1)使用kubeadm初始化master节点
kubeadm init --kubernetes-version=v1.15.12 --image-repository registry.aliyuncs.com/google_containers  --pod-network-cidr=10.244.0.0/16 --service-cidr=10.254.0.0/16

相关参数说明:
    --kubernetes-version:
        指定K8S master组件的版本号。
        
    --image-repository:
        指定下载k8s master组件的镜像仓库地址。
        
    --pod-network-cidr:
        指定Pod的网段地址。
        
    --service-cidr:
        指定SVC的网段

使用kubeadm初始化集群时，可能会出现如下的输出信息:
[init] 
    使用初始化的K8S版本。
    
[preflight] 
    主要是做安装K8S集群的前置工作，比如下载镜像，这个时间取决于你的网速。

[certs] 
    生成证书文件，默认存储在"/etc/kubernetes/pki"目录哟。

[kubeconfig]
    生成K8S集群的默认配置文件，默认存储在"/etc/kubernetes"目录哟。

[kubelet-start] 
    启动kubelet，
    环境变量默认写入:"/var/lib/kubelet/kubeadm-flags.env"
    配置文件默认写入:"/var/lib/kubelet/config.yaml"

[control-plane]
    使用静态的目录，默认的资源清单存放在:"/etc/kubernetes/manifests"。
    此过程会创建静态Pod，包括"kube-apiserver"，"kube-controller-manager"和"kube-scheduler"

[etcd] 
    创建etcd的静态Pod，默认的资源清单存放在:""/etc/kubernetes/manifests"
    
[wait-control-plane] 
    等待kubelet从资源清单目录"/etc/kubernetes/manifests"启动静态Pod。

[apiclient]
    等待所有的master组件正常运行。
    
[upload-config] 
    创建名为"kubeadm-config"的ConfigMap在"kube-system"名称空间中。
    
[kubelet] 
    创建名为"kubelet-config-1.22"的ConfigMap在"kube-system"名称空间中，其中包含集群中kubelet的配置

[upload-certs] 
    跳过此节点，详情请参考”--upload-certs"
    
[mark-control-plane]
    标记控制面板，包括打标签和污点，目的是为了标记master节点。
    
[bootstrap-token] 
    创建token口令，例如:"kbkgsa.fc97518diw8bdqid"。
    如下图所示，这个口令将来在加入集群节点时很有用，而且对于RBAC控制也很有用处哟。

[kubelet-finalize] 
    更新kubelet的证书文件信息

[addons] 
    添加附加组件，例如:"CoreDNS"和"kube-proxy”
    
    
    (2)拷贝授权文件，用于管理K8S集群
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config    

    (3)查看集群节点
kubectl get cs,no

部署网络插件:
[root@k8s151.oldboyedu.com ~]# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml

添加自动补全功能:
[root@k8s151.oldboyedu.com ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc && source ~/.bashrc