kubernetes环境配置

K8S概述

k8s全称kubernetes，是一个为容器服务而生的可移植容器的编排管理工具，是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本，于2014年9月发布第一个版本，2015年7月发布第一个正式版本。目前k8s已经主导了云业务流程，推动了微服务架构等热门技术的普及和落地。K8S在架构方面很好的解决了可用性、伸缩性。在部署运维层面、服务部署、服务监控、应用扩容和故障处理方面，K8S都提供了很好的解决方案。

K8S的架构：

前期准备

准备的组件：三台CentOS7系统的服务器（一主二从），在每台服务器中分别安装docker(18.06.3)，kubeadm（1.17.4），kubelet（1.17.4），kubectl（1.17.4）程序。

主机安装

安装过程中需要注意的选项设置：

• 操作系统环境：CPU（2C） 内存（2G） 硬盘（50G）

  安装流程为在VMWare中新建虚拟机→自定义→稍后安装操作系统→客户机操作系统选择为Linux（CentOS 64位）→设置CPU与内存→设置磁盘大小位50G→虚拟机设置中使用CentOS7的ISO映像文件。

• CentOS安装过程中，软件选择为基础设施服务器，分区为自动分区，网络配置如下：

  

  要注意的是，ip地址前三个字段需要与VMWare中NAT模式下的子网ip前面相同。最后一个字段随意。

  

环境初始化

采用MobaXTerm远程连接3台设备对其进行统一设置。在MobaXTerm中选中三个远程连接，使用多执行功能同时对其进行配置。

1）检查操作系统版本

cat /etc/redhat-release

2）主机名解析

为了方便后面集群节点间的直接调用，对其配置主机名解析。

vim /etc/host
# 主机名解析，编辑三台服务器的/etc/host文件，添加如下内容
192.168.160.100 master
192.168.160.101 node1
192.168.160.102 node2

配置成功后，可以互相ping通。

3）时间同步

kubernetes要求集群中的节点时间必须精确一致，这里使用chronyd服务从网络同步时间。

#启动chronyd服务
systemctl start chronyd
#设置chronyd服务开机自启
systemctl enable chronyd
#date命令验证
date

4）禁用iptables和firewalld服务

kubernetes和docker运行过程中和会产生大量的iptables规则，为了不让系统规则混淆，需要关闭。而CentOS中iptables服务本身不存在，不需要额外关闭，主要关闭firewalld服务

systemctl stop firewalld
systemctl disable firewalld

5）禁用selinux

selinux是linux系统下的一个安全服务。如果不关闭，会在安装过程中遇到很多问题。

vim /etc/selinux/config
#修改config文件，将selinux值修改为disabled。注意，修改完毕后需要重启linux服务
SELINUX=disabled

6）禁用swap分区

swap分区指的是虚拟内存分区。启用swap设备会对系统性能产生负面影响，因此kubernetes要求每个节点都要禁用swap设备。

vim /etc/fstab
#注释掉swap分区一行，修改后需要重启linux服务

7）修改linux内核参数

#修改linux内核参数添加网桥过滤和地址转发功能
vim /etc/sysctl.d/kubernetes.conf

#重新加载配置
sysctl -p

#加载网桥过滤模块
modprobe br-netfilter

#查看是否加载成功
lsmod | grep br_netfilter

8）配置ipvs功能

在kubernetes中service有两种代理模型，其中ipvs性能要高一些。若想要使用该服务，需要手动载入ipvs模块。

注意，黑马程序员网课中提供的是ipvsadmin，但是无法顺利安装，需要改为ipvsadm

#安装ipvs和ipvsadm
yum install ipset ipvsadm -y

#添加需要加载的模块写入脚本文件
cat <<EOF> /etc/sysconfig/modules/ipvs.modules
!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

#为脚本添加执行权限
chmod +x /etc/sysconfig/modules/ipvs.modules

#执行脚本文件
/bin/bash /etc/sysconfig/modules/ipvs.modules

#查看是否加载成功
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

9）重启服务器

安装docker

#1 切换镜像源
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yun.repos.d/docker-ce.repo

#2 查看当前镜像源中支持的docker版本
yum list docker-ce --showduplicates

#3 安装特定版本的docker-ce
yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y

#4 添加配置文件
mkdir /etc/docker
cat <EOF>> /etc/docker/daemon.json
{
  "exec-opts":["native.cgroupdeiver=systemd"],
  "registry-mirrors":["https://kn0t2bca.mirror.aliyuncs.com"]
}
EOF

#5 启动docker
systemctl restart docker

安装kubernetes组件

#先切换为国内的镜像源
vim /etc/yum.repos.d/kubernetes.repo

#添加如下配置
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

#安装kubeadm、kubelet、kubectl
yum install --setopt=obsoletes=0 kubeadm=1.17.4-0 kubelet=1.17.4-0 kubectl=1.17.4-0 -y

#配置kubelet的cgroup
vim /etc/sysconfig/kubelet
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"

#设置kubelet开机自启
systemctl enable kubelet

准备集群镜像

#先看看需要提前准备好的镜像
kubeadm config images list

#下载镜像
images=(
	kube-apiserver:v1.17.4
	kube-controller-manager:v1.17.4
	kube-scheduler:v1.17.4
	kube-proxy:v1.17.4
	pause:3.1
	etcd:3.4.3-0
	coredns:1.6.5
)


for imageName in ${images[@]} ; do
	docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
	docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageName
	docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName
done

集群初始化

对集群进行初始化，将node节点加入到集群中

• 只在master节点上执行的操作

  kubeadm init \
  --kubernetes-version=v1.17.4  \
  --pod-network-cidr=10.244.0.0/16  \
  --service-cidr=10.96.0.0/12  \
  --apiserver-advertise-address=192.168.160.100
  
  #会返回需要创建必要文件和密钥的命令行，在master节点上复制粘贴创建必要文件的命令行段。
  

  

• 以下操作在node上完成

  kubeadm join 192.168.160.100:6443 --token a4eiui.psghhb5jwxlb5qpd \
      --discovery-token-ca-cert-hash sha256:0d2bd5cfce95a28db682ca6ba5d85fd8dd1de09aa579a8532c1bb88098b75abb
  

节点加入显示：

如果添加节点成功，那么在查询加入情况时，三个节点会全部显示ready：

网络插件安装

kubernetes支持多种网络插件，如flannel、calico、canal等。这里使用flannel。以下操作均在master节点。

wget https://raw.githubusercontect.com/coreos/flannel/master/Documentation/kube-flannel.yml

#使用配置文件启动flannel
kubectl apply -f kube-flannel.yml

至此，kubernetes的集群环境搭建完成

部署服务

#部署nginx
kubectl create deployment nginx --image=nginx:1.14-alpine

#暴露端口
kubectl expose deployment nginx --port=80 --type=NodePort

#查看服务状态
kubectl get pods,svc

service/nginx中的端口号可以通过IP+端口号在浏览器中访问。若访问成功，则配置成功

遇到的问题

在配置过程中，由于node1节点配置失误，需要删除节点重新配置，走了很多弯路。先总结如下：

首先在master节点中采用如下代码移除node1节点：

kubectl delete node  node1

然后再node1节点下采用如下代码脱离：

分别是删除/etc/kubernets/下的目录、kubelet重启、节点初始化。

[root@node1 ~]# rm -rf /etc/kubernetes/*
[root@node1 ~]# systemctl restart kubelet
[root@node1 ~]# kubeadm reset -f

重新加入则和之前操作一致。
配置过程中，由于node1节点配置失误，需要删除节点重新配置，走了很多弯路。先总结如下：

首先在master节点中采用如下代码移除node1节点：

kubectl delete node  node1

然后再node1节点下采用如下代码脱离：

分别是删除/etc/kubernets/下的目录、kubelet重启、节点初始化。

[root@node1 ~]# rm -rf /etc/kubernetes/*
[root@node1 ~]# systemctl restart kubelet
[root@node1 ~]# kubeadm reset -f

重新加入则和之前操作一致。