一. K8s简介
Kubernetes(简称,K8S)是Google开源的容器集群管理系统,在Docker技术的基础上,为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能,提高了大规模容器集群管理的便捷性。 其主要功能如下:
- 使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run);
- 以集群的方式运行、管理跨机器的容器。以集群的方式运行、管理跨机器的容器;
- 解决Docker跨机器容器之间的通讯问题。解决Docker跨机器容器之间的通讯问题;
- Kubernetes的自我修复机制使得容器集群总是运行在用户期望的状态;
二. K8s架构
- API Server:用于暴露Kubernetes API,任何资源的请求的调用操作都是通过kube-apiserver提供的接口进行的;
- Etcd:是Kubernetes提供默认的存储系统,保存所有集群数据,使用时需要为etcd数据提供备份计划;
- Controller-Manager:作为集群内部的管理控制中心,负责集群内的Node、Pod副本、服务端点(Endpoint)、命名空间(Namespace)、服务账号(ServiceAccount)、资源定额(ResourceQuota)的管理,当某个Node意外宕机时,Controller Manager会及时发现并执行自动化修复流程,确保集群始终处于预期的工作状态;
- Scheduler:监视新创建没有分配到Node的Pod,为Pod选择一个Node;
- Kubelet:负责维护容器的生命周期,同时负责Volume和网络的管理;
- Kube proxy:是Kubernetes的核心组件,部署在每个Node节点上,它是实现Kubernetes Service的通信与负载均衡机制的重要组件;
三. K8s安装
(一). 主从节点都需要完成
- 分别修改主从节点的主机名,主机名不可以重复;
1.1. 主节点:k8s-master
1.2. 从节点: k8s-node1
# 主节点
hostnamectl set-hostname k8s-master
# 从节点
hostnamectl set-hostname k8s-node1
- 修改hosts文件,追加域名映射;
cat >>/etc/hosts<<EOF
192.168.0.122 k8s-master
192.168.0.123 k8s-node1
EOF
- 关闭防火墙和关闭SELinux
systemctl stop firewalld
systemctl disable firewalld
# 临时关闭
setenforce 0
# 永久关闭,改为 SELINUX=disabled
vi /etc/sysconfig/selinux
- 设置系统参数:设置允许路由转发,不对bridge的数据进行处理;
4.1. 创建文件;
# 创建文件
vi /etc/sysctl.d/k8s.conf
# 内容如下
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
4.2. 执行文件;
sysctl -p /etc/sysctl.d/k8s.conf
可能出现的问题:
文件或目录不存在:
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-ip6tables: No such file or directory
sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-iptables: No such file or directory
解决办法:
modprobe br_netfilter
ls /proc/sys/net/bridge
sysctl -p /etc/sysctl.d/k8s.conf #这时再次执行sysctl -p命令即可
4.3. kube-proxy 开启ipvs的前置条件;
4.3.1. 覆写ipvs.modules文件;
# 覆写ipvs.modules文件
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
4.3.2. 执行ipvs.modules文件
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs –e nf_conntrack_ipv4
4.4. 所有节点关闭swap;
# 临时关闭
swapoff -a
# 永久关闭,注释掉以下字段/dev/mapper/centos-swap swap swap defaults 0 0
vi /etc/fstab
kubelet、kubeadm、kubectl简介
- kubeadm: 用来初始化集群的指令;
- kubelet: 在集群中的每个节点上用来启动 pod 和 container 等;
- kubectl: 用来与集群通信的命令行工具;
- 安装kubelet、kubeadm、kubectl
5.1. 清空yum缓存
yum clean all
5.2. 设置yum源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
5.3. 安装kubelet kubeadm kubectl
yum install -y kubelet kubeadm kubectl
5.4. kubelet 设置开机启动(注意:先不启动,现在启动的话会报错)
systemctl enable kubelet
5.5. 查看版本(根据安装的实际情况,版本可能会变化)
kubelet --version
(二). 主节点需要完成
- 初始化主节点之前,前置工作;
1.1. 修改Docker的配置: vi /etc/docker/daemon.json(不修改会报这个错误:[WARNING IsDockerSystemdCheck]: detected “cgroupfs” as the Docker cgroup driver作为Docker cgroup驱动程序,Kubernetes推荐的Docker驱动程序是“systemd”),然后重启docker;
vi /etc/docker/daemon.json
# 加入如下配置
{
"exec-opts":["native.cgroupdriver=systemd"]
}
1.2. 改虚拟机的CPU的个数,至少为2个(不然会报这个错误:[ERROR NumCPU]: the number of available CPUs 1 is less than the required 2);
- 运行初始化命令(备注:kubernetes-version:具体安装的实际版本;apiserver-advertise-address:master机器的IP);
kubeadm init --kubernetes-version=1.18.2 \
--apiserver-advertise-address=192.168.0.122 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16
可能出现的问题:
初始化 Kubernetes 问题(端口占用):
[preflight] Some fatal errors occurred:
[ERROR Port-6443]: Port 6443 is in use
[ERROR Port-10250]: Port 10250 is in use
[ERROR Port-10251]: Port 10251 is in use
[ERROR Port-10252]: Port 10252 is in use
[ERROR FileAvailable--etc-kubernetes-manifests-kube-apiserver.yaml]: /etc/kubernetes/manifests/kube-apiserver.yaml already exists
[ERROR FileAvailable--etc-kubernetes-manifests-kube-controller-manager.yaml]: /etc/kubernetes/manifests/kube-controller-manager.yaml already exists
[ERROR FileAvailable--etc-kubernetes-manifests-kube-scheduler.yaml]: /etc/kubernetes/manifests/kube-scheduler.yaml already exists
解决办法:
kubeadm reset #重启kubeadm
- 初始化结束后,会提示节点安装的命令,必须记下来
kubeadm join 192.168.0.122:6443 --token udccd5.61sx3avu56249ggd \
--discovery-token-ca-cert-hash sha256:3a8a90f22fb74f86cda060e1d6a51b2c56ff0424d3858d5e762f898bb6ab51f0
- 配置kubectl工具
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
- 安装Calico
mkdir k8s
cd k8s
wget https://docs.projectcalico.org/v3.10/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml
sed -i 's/192.168.0.0/10.244.0.0/g' calico.yaml
kubectl apply -f calico.yaml
- 等待几分钟,查看所有Pod的状态,确保所有Pod都是Running状态
kubectl get pod --all-namespaces -o wide
(三). 从节点需要完成
- 让所有节点加入集群环境(使用之前Master节点产生的命令加入集群),本文中的三 -> (二) -> 3步骤主节点初始化完成之后生成的命令;
kubeadm join 192.168.0.122:6443 --token udccd5.61sx3avu56249ggd \ --discovery-token-ca-cert-hash sha256:3a8a90f22fb74f86cda060e1d6a51b2c56ff0424d3858d5e762f898bb6ab51f0
- 启动kubelet
systemctl start kubelet
- 回到Master节点查看,如果Status全部为Ready,代表集群环境搭建成功!!!
kubectl get nodes
四. kubectl常用命令
- kubectl get nodes 查看所有主从节点的状态
- kubectl get ns 获取所有namespace资源
- kubectl get pods -n {$nameSpace} 获取指定namespace的pod
- kubectl describe pod的名称 -n {$nameSpace} 查看某个pod的执行过程
- kubectl logs --tail=1000 pod的名称 | less 查看日志
- kubectl create -f xxx.yml 通过配置文件创建一个集群资源对象
- kubectl delete -f xxx.yml 通过配置文件删除一个集群资源对象
- kubectl delete pod名称 -n {$nameSpace} 通过pod删除集群资源
- kubectl get service -n {$nameSpace} 查看pod的service情况