核心组件
HPA
Deployment支持二级控制器HPA(HorizontalPodAutoscaler,水平pod自动伸缩控制器),当用户访问流量增加时,节点上的pod不足以承载这么多访问量了,此时我们应该增加pod资源,HPA控制器就可以自动监控pod来确定需要扩展多少个pod。
service
pod是由声明周期的,一个pod有可能随时被另外一个pod给替换掉,加入它们是同一种服务,客户端是无法通过固定的手段来访问这些pod得到,因为pod本身是不固定的,无论是主机名还是ip地址随时都可能在变换。
为了尽可能的降低客户端与pod之间协调的复杂度,k8s为每一组提供同类服务的pod和其客户端之间添加了一个中间层,这个中间层是固定的,中间层就叫service。
service只要不被删除,其地址与名称都是固定的,当客户端需要在其配置文件中写上访问某个服务时,它不再需要自动发现,只需要在配置文件中写明service的名称即可,而这个service是个调度器,其不但能提供稳定的访问入口,还能做方向代理和均衡负载,当service接收到客户端的请求后,会将其代理到后端pod之上,一旦pod出现故障会立即新建立一个pod,这个新建的pod会立即被service关联上,作为service后端可用的pod之一。
客户端程序访问服务都是通过ip:端口或主机名:端口的方式来实现的。而service关联后端的pod不是靠它的ip和主机,而是靠pod的标签选择器。只要创建pod的label是统一的,无论ip和主机如何改变,其都能被service所识别。如此一来,只要pod属于标签选择器,只要其在service的管理范围之内,则其就会被关联到service中,当这个动态的pod关联到service中后,再进行动态的探测此pod的ip地址、端口,将其作为自己后端可调度的服务器主机对象,因此,客户端得到请求发送到service,然后由service代理到后端真是的pod中的容器进行响应。
service不是一个程序,也不是一个组件,它只是一个iptables的dnat规则,service作为k8s的对象,有其自己的名称,而service的名称相当于服务名,而这个名称可以被解析。
AddOns附件
dns pod
安装完k8s后第一件事就需要在k8s集群上部署一个dns pod,以确保个service的名称能够被解析。可以动态改变,包括动态创建、删除、修改。
比如把service名称改了,dns pod会自动触发,将dns解析记录中的名称也改掉,假如我们手动吧service的ip地址改了,同样会自动触发,将dns服务中的解析记录给改掉。如此一来,客户端去访问pod资源的时候可以直接访问service的名称,然后由集群中专用的dns服务来负责解析。
这种pod是k8s自身服务就需要用到的pod,所以我们把它称为基础性的系统架构级的pod对象,而且它们也被称为集群附件。
安装要求
在开始之前,部署Kubernetes集群机器需要满⾜以下⼏个条件:
- ⾄少3台机器,操作系统 CentOS7+
- 硬件配置:2GB或更多RAM,2个CPU或更多CPU,硬盘20GB或更多
- 集群中所有机器之间⽹络互通
- 可以访问外⽹,需要拉取镜像
- 禁⽌swap分区
环境
master | 192.168.149.137 |
---|---|
node1 | 192.168.149.143 |
node2 | 192.168.149.134 |
安装
关闭防⽕墙(node也一样)
[root@node1 ~]# systemctl disable --now firewalld
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
永久关闭selinux(node也一样)
[root@node1 ~]# sed -i 's/enforcing/disabled/' /etc/selinux/config
关闭swap(node也一样)
[root@node1 ~]# vim /etc/fstab
注释掉swap分区(node也一样)
#/dev/mapper/cs-swap none swap defaults 0 0
在master添加hosts
[root@master ~]# cat >> /etc/hosts << EOF
192.168.149.137 master master.example.com
192.168.149.143 node1 node1.example.com
192.168.149.134 node2 node2.example.com
EOF
做完以后可以直接用名字ping通:
#[root@master ~]# ping node2
#PING node2 (192.168.149.134) 56(84) bytes of data.
#64 bytes from node2 (192.168.149.134): icmp_seq=1 ttl=64 time=0.607 ms
将桥接的IPv4流量传递到iptables的链(node也一样)
[root@master ~]# cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
[root@master ~]# sysctl --system
* Applying /usr/lib/sysctl.d/10-default-yama-scope.conf ...
kernel.yama.ptrace_scope = 0
* Applying /usr/lib/sysctl.d/50-coredump.conf ...
kernel.core_pattern = |/usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %e
* Applying /usr/lib/sysctl.d/50-default.conf ...
kernel.sysrq = 16
kernel.core_uses_pid = 1
kernel.kptr_restrict = 1
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.all.promote_secondaries = 1
net.core.default_qdisc = fq_codel
fs.protected_hardlinks = 1
fs.protected_symlinks = 1
* Applying /usr/lib/sysctl.d/50-libkcapi-optmem_max.conf ...
net.core.optmem_max = 81920
* Applying /usr/lib/sysctl.d/50-pid-max.conf ...
kernel.pid_max = 4194304
* Applying /etc/sysctl.d/99-sysctl.conf ...
* Applying /etc/sysctl.d/k8s.conf ... #有这个就说明成功了
* Applying /etc/sysctl.conf ...
时间同步(node也一样)
[root@master ~]# yum -y install chrony
[root@master ~]# systemctl enable --now chronyd
免密认证
[root@master ~]# ssh-keygen -t rsa
[root@master ~]# ssh-copy-id master
[root@master ~]# ssh-copy-id node1
[root@master ~]# ssh-copy-id node2
测试
[root@master ~]# for host in master node1 node2;do ssh $host 'date';done
2021年 08月 24日 星期二 10:57:51 EDT
2021年 08月 24日 星期二 10:57:52 EDT
2021年 08月 24日 星期二 10:57:52 EDT
所有节点安装Docker/kubeadm/kubelet
配置yum
[root@master ~]# cd /etc/yum.repos.d/
[root@master yum.repos.d]# vim docker-ce.repo
[Docker-ce]
name=Docker-ce
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/8/x86_64/stable/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
安装和启动
yum -y install docker-ce
systemctl start docker
配置加速器
[root@master ~]# cat > /etc/docker/daemon.json << EOF
{
"registry-mirrors": ["https://q2e6ymdt.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
EOF
[root@master docker]# systemctl daemon-reload
[root@master docker]# systemctl restart docker
[root@master docker]# docker info
Client:
Context: default
Debug Mode: false
Plugins:
app: Docker App (Docker Inc., v0.9.1-beta3)
buildx: Build with BuildKit (Docker Inc., v0.6.1-docker)
...... 这里有省略
Labels:
Experimental: false
Insecure Registries:
127.0.0.0/8
Registry Mirrors:
https://q2e6ymdt.mirror.aliyuncs.com/ #这里是自己的加速器地址就成功了
Live Restore Enabled: false
添加kubernetes阿⾥云YUM软件源
[root@master ~]# cat > /etc/yum.repos.d/kubernetes.repo << EOF 这里用的centos7的
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
安装kubeadm,kubelet和kubectl (node也一样)
[root@master ~]# yum install -y kubelet-1.20.0 kubeadm-1.20.0 kubectl-1.20.0
[root@master ~]# systemctl enable kubelet
Created symlink /etc/systemd/system/multi-user.target.wants/kubelet.service → /usr/lib/systemd/system/kubelet.service.
部署Kubernetes Master
重启一下
在192.168.149.137(master)上执行
kubeadm init \
--apiserver-advertise-address=192.168.149.137 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.20.0 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16
由于默认拉取镜像地址k8s.gcr.io国内⽆法访问,这⾥指定阿⾥云镜像仓库地址。
[root@master ~]# yum -y install iproute-tc
使⽤kubectl⼯具
[root@master ~]# mkdir -p $HOME/.kube
[root@master ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master ~]# chown $(id -u):$(id -g) $HOME/.kube/config
[root@master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master NotReady control-plane,master 2m9s v1.20.0
安装Pod⽹络插件(CNI)
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
确保能够访问到quay.io这个registery。 #这里可能会访问不到
这里是本地的方式,flannel.yaml是cp网址里面的内容
[root@master ~]# kubectl apply -f flannel.yaml
podsecuritypolicy.policy/psp.flannel.unprivileged created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
serviceaccount/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds created
加⼊Kubernetes Node
在192.168.149.143、192.168.149.134上(Node)执⾏。
向集群添加新节点,执⾏在kubeadm init输出的kubeadm join命令:
这个是在部署Kubernetes Master后出现的
kubeadm join 192.168.149.137:6443 --token dt63lv.vas53zh1hhurw1qz \
--discovery-token-ca-cert-hash sha256:041af3cde7a184783d7ac5b01cf39ceddad21508c99b746dc3819b2fccb34948
测试Kubernetes集群
[root@master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master Ready control-plane,master 11m v1.20.0
node1 Ready <none> 4m56s v1.20.0
node2 Ready <none> 4m6s v1.20.0
在Kubernetes集群中创建⼀个pod,验证是否正常运⾏
[root@master ~]# kubectl create deployment nginx --image=nginx
deployment.apps/nginx created
[root@master ~]# kubectl expose deployment nginx --port=80 --type=NodePort
service/nginx exposed
[root@master ~]# kubectl get pod,svc
NAME READY STATUS RESTARTS AGE
pod/nginx-6799fc88d8-hnjrq 1/1 Running 0 4m21s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 12m
service/nginx NodePort 10.111.153.17 <none> 80:31775/TCP 4m14s