Kubernetes
1. Kubernetes简介与架构
1.1 Kubernetes简介
-
在Docker 作为高级容器引擎快速发展的同时,在Google内部,容器技术已经应用了很多年,Borg系统运行管理着成千上万的容器应用。
-
Kubernetes项目来源于Borg,可以说是集结了Borg设计思想的精华,并且吸收了Borg系统中的经验和教训。
-
Kubernetes对计算资源进行了更高层次的抽象,通过将容器进行细致的组合,将最终的应用服务交给用户。
-
Kubernetes的好处:
隐藏资源管理和错误处理,用户仅需要关注应用的开发。
服务高可用、高可靠。
可将负载运行在由成千上万的机器联合而成的集群中。
1.2 kubernetes设计架构
-
Kubernetes集群包含有节点代理kubelet和Master组件(APIs, scheduler, etc),一切都基于分布式的存储系统。
-
Kubernetes主要由以下几个核心组件组成:
- etcd:保存了整个集群的状态
- apiserver:提供了资源操作的唯一入口,并提供认证、授权、访问控制、API注册和发现等机制
- controller manager:负责维护集群的状态,比如故障检测、自动扩展、滚动更新等
- scheduler:负责资源的调度,按照预定的调度策略将Pod调度到相应的机器上
- kubelet:负责维护容器的生命周期,同时也负责Volume(CVI)和网络(CNI)的管理
- Container runtime:负责镜像管理以及Pod和容器的真正运行(CRI)
- kube-proxy:负责为Service提供cluster内部的服务发现和负载均衡
-
除了核心组件,还有一些推荐的Add-ons:
- kube-dns:负责为整个集群提供DNS服务
- Ingress Controller:为服务提供外网入口
- Heapster:提供资源监控
- Dashboard:提供GUI
- Federation:提供跨可用区的集群
- Fluentd-elasticsearch:提供集群日志采集、存储与查询
-
Kubernetes设计理念和功能其实就是一个类似Linux的分层架构
-
核心层:Kubernetes最核心的功能,对外提供API构建高层的应用,对内提供插件式应用执行环境
-
应用层:部署(无状态应用、有状态应用、批处理任务、集群应用等)和路由(服务发现、DNS解析等)
-
管理层:系统度量(如基础设施、容器和网络的度量),自动化(如自动扩展、动态Provision等)以及策略管理(RBAC、Quota、PSP、NetworkPolicy等)
-
接口层:kubectl命令行工具、客户端SDK以及集群联邦
-
生态系统:在接口层之上的庞大容器集群管理调度的生态系统,可以划分为两个范畴
- Kubernetes外部:日志、监控、配置管理、CI、CD、Workflow、FaaS、OTS应用、ChatOps等
- Kubernetes内部:CRI、CNI、CVI、镜像仓库、Cloud Provider、集群自身的配置和管理等
2. 环境的清理
3. Kubernetes部署
3.1 所有节点部署docker引擎
- - 关闭节点的selinux和iptables防火墙
所有节点部署docker引擎 (之前做过直接看截图即可)
# yum install -y docker-ce docker-ce-cli
# vim /etc/sysctl.d/docker.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
# sysctl --system
# systemctl enable docker
# systemctl start docker
- 官网:https://kubernetes.io/docs/setup/production-environment/container-runtimes/#docker
-
# vim /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}
# mkdir -p /etc/systemd/system/docker.service.d
# systemctl daemon-reload
# systemctl restart docker
server2配置
server3和server2配置一样、
server4配置
3.2 禁用swap分区
- 禁用swap分区:
# swapoff -a
注释掉/etc/fstab文件中的swap定义
server2
[root@server3 ~]# swapon -s
Filename Type Size Used Priority
/dev/dm-1 partition 1572860 0 -2
[root@server3 ~]# swapoff -a
[root@server3 ~]# vim /etc/fstab
[root@server3 ~]# cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Thu Dec 31 18:38:54 2020
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/rhel-root / xfs defaults 0 0
UUID=a31aabff-3bbf-4e8a-90eb-f1b494de384f /boot xfs defaults 0 0
#/dev/mapper/rhel-swap swap swap defaults 0 0
[root@server3 ~]# swapon -s
server3和server4
3.3 安装部署软件kubeadm
[root@server2 yum.repos.d]# ls
CentOS-Base.repo docker.repo redhat.repo rhel7.6.repo
[root@server2 yum.repos.d]# cat CentOS-Base.repo | grep enabled ##没用的仓库先禁用掉,因为相互之间的依赖会影响
[root@server2 yum.repos.d]# vim k8s.repo
[root@server2 yum.repos.d]# cat k8s.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
[root@server2 yum.repos.d]# yum repolist
[root@server2 yum.repos.d]# yum install -y kubelet kubeadm kubectl ##安装k8s软件
[root@server2 yum.repos.d]# systemctl enable --now kubelet.service ##设置开机自启动
##为server3和server4配置仓库
[root@server2 yum.repos.d]# scp k8s.repo server3:/etc/yum.repos.d/
[root@server2 yum.repos.d]# scp k8s.repo server4:/etc/yum.repos.d/
##server3和4安装并启动k8s
[root@server3 yum.repos.d]# yum install -y kubelet kubeadm kubectl
[root@server3 ~]# systemctl enable --now kubelet.service
[root@server4 yum.repos.d]# yum install -y kubelet kubeadm kubectl
[root@server4 ~]# systemctl enable --now kubelet.service
为server3和4配置仓库,并安装启动
3.4 查看默认配置信息
[root@server2 ~]# kubeadm config print init-defaults
3.5 修改镜像仓库
- 默认从k8s.gcr.io上下载组件镜像,需要翻墙才可以,所以需要修改镜像仓库:
- # kubeadm config images list --image-repository registry.aliyuncs.com/google_containers //列出所需镜像
# kubeadm config images pull --image-repository registry.aliyuncs.com/google_containers //拉取镜像
# kubeadm config images pull --image-repository registry.aliyuncs.com/google_containers --kubernetes-version=v1.20.2 ##可以指定kubernetes的版本参数
docker images | grep registry.aliyuncs.com
server2是管理端
3.6 初始化集群
- # kubeadm init --pod-network-cidr=10.244.0.0/16 --image-repository registry.aliyuncs.com/google_containers //初始化集群
--pod-network-cidr=10.244.0.0/16 //使用flannel网络组件时必须添加
--kubernetes-version //指定k8s安装版本
[root@server2 ~]# kubeadm init --pod-network-cidr=10.244.0.0/16 --image-repository registry.aliyuncs.com/google_containers
##生成的加入集群的命令
kubeadm join 172.25.13.2:6443 --token ca3esn.f4h8djsl6cdvhw19 \
--discovery-token-ca-cert-hash sha256:9e80ead05c9fb466665e6c89023771fdabcddc8d8ac2b8c3b7d13252750e4fdd
## 将master中/etc/kubernetes/admin.conf传给两个node节点
3.6 Master查看状态:
# kubectl get cs
# kubectl get node ##查看节点是否准备好
# kubectl get pod -n kube-system ##查看系统运行状态
# kubectl get ns ##查看namespace
# master删除docker之后需要重新初始化!!
3.7 安装flannel网络组件(先配置再安装网络组件)
- flannel网络组件
- 下载官网:https://github.com/coreos/flannel
- 安装命令如下:(可以外网下载,我先用本地下载好的)
- $ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
- 应用之后如果发现flannel节点一直拉取镜像拉取不到,那么可以修改kube-flannel.yml文件中的镜像
- 其他网络组件:
https://kubernetes.io/zh/docs/concepts/cluster-administration/addons/
[root@server2 ~]# ll kube-flannel.yml
-rwxr-xr-x 1 root root 14366 Jan 30 15:56 kube-flannel.yml
[root@server2 ~]# kubectl apply -f kube-flannel.yml
3.7 配置kubectl(要先于配置网络)
- # useradd kubeadm
# vim /etc/sudoers
kubeadm ALL=(ALL) NOPASSWD: ALL
# mkdir -p $HOME/.kube
# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@server2 ~]# mkdir -p $HOME/.kube
[root@server2 ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@server2 ~]# kubectl get pod --namespace kube-system
[root@server2 ~]# kubectl get node
NAME STATUS ROLES AGE VERSION
server2 Ready control-plane,master 13m v1.20.2
3.8 配置kubectl命令补齐功能:
[root@server2 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
3.9 打包受控主机所需的镜像
[root@server2 ~]# docker images
[root@server2 ~]# docker save quay.io/coreos/flannel:v0.12.0-amd64 registry.aliyuncs.com/google_containers/pause:3.2 registry.aliyuncs.com/google_containers/coredns:1.7.0 registry.aliyuncs.com/google_containers/kube-proxy:v1.20.2 > node.tar
[root@server2 ~]# ll node.tar
##发送node.tar包到节点server3和server4
[root@server2 ~]# scp node.tar server3:
[root@server2 ~]# scp node.tar server4:
[root@server3 ~]# docker load -i node.tar
[root@server4 ~]# docker load -i node.tar
server2上操作
节点server3和server4操作
3.10 节点扩容
配置节点server3和server4
[root@server3 ~]# kubeadm join 172.25.13.2:6443 --token ca3esn.f4h8djsl6cdvhw19 \
> --discovery-token-ca-cert-hash sha256:9e80ead05c9fb466665e6c89023771fdabcddc8d8ac2b8c3b7d13252750e4fdd ##执行的是server2初始化集群生成的token
[root@server4 ~]# kubeadm join 172.25.13.2:6443 --token ca3esn.f4h8djsl6cdvhw19 \
> --discovery-token-ca-cert-hash sha256:9e80ead05c9fb466665e6c89023771fdabcddc8d8ac2b8c3b7d13252750e4fdd
3.11 kubectl命令指南:
https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commands