目录
本章节将介绍如何在kubernetes集群中部署一个nginx服务,并且能够对其进行访问。
1 Namespace
Namespace是kubernetes系统中的一种非常重要资源,它的主要作用是用来实现多套环境的资源隔离或者多租户的资源隔离。
默认情况下,kubernetes集群中的所有的Pod都是可以相互访问的。但是在实际中,可能不想让两个Pod之间进行互相的访问,那此时就可以将两个Pod划分到不同的namespace下。kubernetes通过将集群内部的资源分配到不同的Namespace中,可以形成逻辑上的"组",以方便不同的组的资源进行隔离使用和管理。
可以通过kubernetes的授权机制,将不同的namespace交给不同租户进行管理,这样就实现了多租户的资源隔离。此时还能结合kubernetes的资源配额机制,限定不同租户能占用的资源,例如CPU使用量、内存使用量等等,来实现租户可用资源的管理。
kubernetes在集群启动之后,会默认创建几个namespace
[root@k8s-master ~]# kubectl get namespaces
NAME STATUS AGE
default Active 40h # 所有未指定Namespace的对象都会被分配在default命名空间
kube-flannel Active 40h # flannel也会给自己创建一个命名空间
kube-node-lease Active 40h # 集群节点之间的心跳维护,v1.13开始引入
kube-public Active 40h # 此命名空间下的资源可以被所有人访问(包括未认证用户)
kube-system Active 40h # 所有由Kubernetes系统创建的资源都处于这个命名空间
下面来看namespace资源的具体操作:
查看
[root@k8s-master ~]# kubectl get namespaces
NAME STATUS AGE
default Active 40h
kube-flannel Active 40h
kube-node-lease Active 40h
kube-public Active 40h
kube-system Active 40h
[root@k8s-master ~]# kubectl get namespaces default
NAME STATUS AGE
default Active 40h
# 以yaml的形式输出
[root@k8s-master ~]# kubectl get namespaces default -o yaml
apiVersion: v1
kind: Namespace
metadata:
creationTimestamp: "2024-09-28T16:08:27Z"
labels:
kubernetes.io/metadata.name: default
name: default
resourceVersion: "13"
uid: d487c3f1-6d04-4b08-9dd6-98d98d45076b
spec:
finalizers:
- kubernetes
status:
phase: Active
创建与删除命名空间
1、直接创建dev命名空间
[root@k8s-master ~]# kubectl create namespace dev
namespace/dev created
[root@k8s-master ~]# kubectl get namespaces
NAME STATUS AGE
default Active 41h
dev Active 4s
kube-flannel Active 40h
kube-node-lease Active 41h
kube-public Active 41h
kube-system Active 41h
2、删除dev命名空间
# 删除命名空间
[root@k8s-master ~]# kubectl delete namespaces dev
namespace "dev" deleted
3、以yaml的形式创建dev命名空间 --dry-run=client 为不运行
[root@k8s-master ~]# kubectl create namespace dev --dry-run=client -o yaml
apiVersion: v1
kind: Namespace
metadata:
creationTimestamp: null
name: dev
spec: {}
status: {}
[root@k8s-master ~]# mkdir ns-yml
[root@k8s-master ~]# cd ns-yml/
[root@k8s-master ns-yml]# kubectl create namespace dev --dry-run=client -o yaml > dev.yml
# apply 声明文件
[root@k8s-master ns-yml]# kubectl apply -f dev.yml
namespace/dev created
[root@k8s-master ns-yml]# kubectl get namespaces
NAME STATUS AGE
default Active 41h
dev Active 8s
kube-flannel Active 40h
kube-node-lease Active 41h
kube-public Active 41h
kube-system Active 41h
4、以yml的形式删除命名空间
[root@k8s-master ns-yml]# kubectl delete -f dev.yml
namespace "dev" deleted
[root@k8s-master ns-yml]# kubectl get namespaces
NAME STATUS AGE
default Active 41h
kube-flannel Active 41h
kube-node-lease Active 41h
kube-public Active 41h
kube-system Active 41h
2 Pod
Pod是kubernetes集群进行管理的最小单元,程序要运行必须部署在容器中,而容器必须存在于Pod中。
Pod可以认为是容器的封装,一个Pod中可以存在一个或者多个容器。
kubernetes在集群启动之后,集群中的各个组件也都是以Pod方式运行的。可以通过下面命令查看:
[root@k8s-master ns-yml]# kubectl get pods -n kube-system
NAME READY STATUS RESTARTS AGE
coredns-66d4c695bb-f7bvq 1/1 Running 2 (28h ago) 41h
coredns-66d4c695bb-llnfv 1/1 Running 2 (28h ago) 41h
etcd-k8s-master 1/1 Running 2 (28h ago) 41h
kube-apiserver-k8s-master 1/1 Running 2 (28h ago) 41h
kube-controller-manager-k8s-master 1/1 Running 3 (28h ago) 41h
kube-proxy-czcvp 1/1 Running 0 41h
kube-proxy-tdhgm 1/1 Running 2 (28h ago) 41h
kube-proxy-vrdsj 1/1 Running 0 41h
kube-scheduler-k8s-master 1/1 Running 3 (28h ago) 41h
创建并运行
kubernetes没有提供单独运行Pod的命令,都是通过Pod控制器来实现的
# 命令格式: kubectl run (pod控制器名称) [参数]
# --image 指定Pod的镜像
# --port 指定端口
# --namespace 指定namespace
# 创建命名空间
[root@k8s-master ns-yml]# kubectl create namespace dev
namespace/dev created
# 创建 pod 并指定命名空间
[root@k8s-master ns-yml]# kubectl run nginx --image nginx:latest --port 80 --namespace dev
pod/nginx created
查看pod
1、简单查看pods信息
[root@k8s-master ns-yml]# kubectl get pods -n dev
NAME READY STATUS RESTARTS AGE
nginx 1/1 Running 0 22s
2、更详细得查看pods信息
-o wide:以宽格式输出结果。这将显示更多关于 Pod 的信息,包括 Pod 所在的节点、IP 地址等。
[root@k8s-master ns-yml]# kubectl get pods -n dev -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx 1/1 Running 0 4m24s 10.244.2.3 k8s-node2 <none> <none>
3、查看更详细的内容
[root@k8s-master ns-yml]# kubectl -n dev describe pods nginx
Name: nginx
# Pod 的名称为 nginx
Namespace: dev
# 所属命名空间为 dev
Priority: 0
# Pod 的优先级为 0
Service Account: default
# 使用的服务账号为默认的 default
Node: k8s-node2/192.168.239.120
# Pod 所在的节点为 k8s-node2,节点 IP 地址为 192.168.239.120
Start Time: Mon, 30 Sep 2024 17:47:14 +0800
# Pod 的启动时间为 2024 年 9 月 30 日星期一 17:47:14(北京时间)
Labels: run=nginx
# Pod 的标签为 run=nginx,可用于筛选和标识 Pod
Annotations: <none>
# 没有注释信息
Status: Running
# Pod 的当前状态为正在运行
IP: 10.244.2.3
# Pod 在集群内部的 IP 地址为 10.244.2.3
IPs:
IP: 10.244.2.3
Containers:
nginx:
Container ID: docker://054f945fc6a20556e0bc10b43c056f4acfcb67ca12489d6d7cf92ceaa5dd6033
# 容器的唯一标识
Image: nginx:latest
# 使用的镜像为 nginx 的最新版本
Image ID: docker-pullable://nginx@sha256:127262f8c4c716652d0e7863bba3b8c45bc9214a57d13786c854272102f7c945
# 镜像的 ID
Port: 80/TCP
# 容器监听的端口为 80,协议为 TCP
Host Port: 0/TCP
# 主机上对应的端口为 0(未映射到主机端口)
State: Running
Started: Mon, 30 Sep 2024 17:47:16 +0800
# 容器的状态为正在运行,启动时间为 2024 年 9 月 30 日星期一 17:47:16(北京时间)
Ready: True
# 容器已准备好接收请求
Restart Count: 0
# 容器的重启次数为 0
Environment: <none>
# 没有环境变量设置
Mounts:
/var/run/secrets/kubernetes.io/serviceaccount from kube-api-access-kqr88 (ro)
# 挂载了名为 kube-api-access-kqr88 的卷,来源为 /var/run/secrets/kubernetes.io/serviceaccount,只读权限
Conditions:
Type Status
PodReadyToStartContainers True
Initialized True
Ready True
ContainersReady True
PodScheduled True
# Pod 的各种条件状态均为 True,表示容器准备好启动、已初始化、Pod 就绪、容器就绪以及已被调度
Volumes:
kube-api-access-kqr88:
Type: Projected (a volume that contains injected data from multiple sources)
# 卷的类型为 Projected,表示包含来自多个源注入的数据
TokenExpirationSeconds: 3607
# 令牌过期时间为 3607 秒
ConfigMapName: kube-root-ca.crt
# 关联的 ConfigMap 名称为 kube-root-ca.crt
ConfigMapOptional: <nil>
# ConfigMap 是否可选为空,表示不可选
DownwardAPI: true
# 是否使用 Downward API 为 true
QoS Class: BestEffort
# Pod 的服务质量等级为 BestEffort,表示尽力而为的服务质量
Node-Selectors: <none>
# 没有节点选择器
Tolerations: node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
# 容忍度设置,当节点处于 not-ready 或 unreachable 状态时,Pod 将在 300 秒内不被驱逐,并执行 NoExecute 操作
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 3m34s default-scheduler Successfully assigned dev/nginx to k8s-node2
# 正常事件,Pod 被调度,经过了 3 分 34 秒,由默认调度器进行调度,成功将 dev/nginx 分配到 k8s-node2 节点
Normal Pulling 3m32s kubelet Pulling image "nginx:latest"
# 正常事件,正在拉取镜像,经过了 3 分 32 秒,由 kubelet 执行,正在拉取 nginx:latest 镜像
Normal Pulled 3m32s kubelet Successfully pulled image "nginx:latest" in 95ms (95ms including waiting). Image size: 187694648 bytes.
# 正常事件,镜像拉取成功,经过了 3 分 32 秒,由 kubelet 执行,成功拉取 nginx:latest 镜像,用时 95 毫秒(包括等待时间),镜像大小为 187694648 字节
Normal Created 3m32s kubelet Created container nginx
# 正常事件,容器创建成功,经过了 3 分 32 秒,由 kubelet 执行,创建了 nginx 容器
Normal Started 3m32s kubelet Started container nginx
# 正常事件,容器启动成功,经过了 3 分 32 秒,由 kubelet 执行,启动了 nginx 容器
访问Pod
[root@k8s-master ns-yml]# kubectl get pods -n dev -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx 1/1 Running 0 4m24s 10.244.2.3 k8s-node2 <none> <none>
[root@k8s-master ns-yml]# curl 10.244.2.3
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>
<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>
<p><em>Thank you for using nginx.</em></p>
</body>
</html>
删除指定Pod
[root@k8s-master ns-yml]# kubectl -n dev delete pods nginx
pod "nginx" deleted
[root@k8s-master ns-yml]# kubectl -n dev get pods
No resources found in dev namespace.
配置操作
创建一个pod-nginx.yaml,修改之后内容如下:
[root@k8s-master ns-yml]# kubectl run nginx --image nginx:latest --port 80 --namespace dev --dry-run=client -o yaml > nginx-dev.yml
[root@k8s-master ns-yml]# vim nginx-dev.yml
apiVersion: v1
kind: Pod
metadata:
labels:
run: nginx
name: nginx
namespace: dev
spec:
containers:
- image: nginx:latest
name: nginx
ports:
- containerPort: 80
protocol: TCP
[root@k8s-master ns-yml]# kubectl apply -f nginx-dev.yml
pod/nginx created
[root@k8s-master ns-yml]# kubectl -n dev get pods
NAME READY STATUS RESTARTS AGE
nginx 1/1 Running 0 5m10s
3 Label
Label是kubernetes系统中的一个重要概念。它的作用就是在资源上添加标识,用来对它们进行区分和选择。
Label的特点:
-
一个Label会以key/value键值对的形式附加到各种对象上,如Node、Pod、Service等等
-
一个资源对象可以定义任意数量的Label ,同一个Label也可以被添加到任意数量的资源对象上去
-
Label通常在资源对象定义时确定,当然也可以在对象创建后动态添加或者删除
可以通过Label实现资源的多维度分组,以便灵活、方便地进行资源分配、调度、配置、部署等管理工作。
一些常用的Label 示例如下:
版本标签:"version":"release", "version":"stable"......
环境标签:"environment":"dev","environment":"test","environment":"pro"
架构标签:"tier":"frontend","tier":"backend"
标签定义完毕之后,还要考虑到标签的选择,这就要使用到Label Selector,即:
Label用于给某个资源对象定义标识
Label Selector用于查询和筛选拥有某些标签的资源对象
当前有两种Label Selector:
-
基于等式的Label Selector
name = slave: 选择所有包含Label中key="name"且value="slave"的对象
env != production: 选择所有包括Label中的key="env"且value不等于"production"的对象
-
基于集合的Label Selector
name in (master, slave): 选择所有包含Label中的key="name"且value="master"或"slave"的对象
name not in (frontend): 选择所有包含Label中的key="name"且value不等于"frontend"的对象
标签的选择条件可以使用多个,此时将多个Label Selector进行组合,使用逗号","进行分隔即可。例如:
name=slave,env!=production
name not in (frontend),env!=production
命令方式
1、添加标签
[root@k8s-master ns-yml]# kubectl -n dev get pods
NAME READY STATUS RESTARTS AGE
nginx 1/1 Running 0 7m18s
[root@k8s-master ns-yml]# kubectl -n dev label pods nginx version=1.0
pod/nginx labeled
[root@k8s-master ns-yml]# kubectl -n dev get pods --show-labels
NAME READY STATUS RESTARTS AGE LABELS
nginx 1/1 Running 0 8m56s run=nginx,version=1.0
2、更新标签
[root@k8s-master ns-yml]# kubectl -n dev label pods nginx version=2.0 --overwrite
pod/nginx labeled
[root@k8s-master ns-yml]# kubectl -n dev get pods --show-labels
NAME READY STATUS RESTARTS AGE LABELS
nginx 1/1 Running 0 15m run=nginx,version=2.0
3、查看标签
[root@k8s-master ns-yml]# kubectl -n dev get pods --show-labels
NAME READY STATUS RESTARTS AGE LABELS
nginx 1/1 Running 0 15m run=nginx,version=2.0
4、筛选所有version2.0的标签
[root@k8s-master ns-yml]# kubectl -n dev -l version=2.0 get pods --show-labels
NAME READY STATUS RESTARTS AGE LABELS
nginx 1/1 Running 0 17m run=nginx,version=2.0
5、筛选不是version2.0的标签
[root@k8s-master ns-yml]# kubectl -n dev -l version!=2.0 get pods --show-labels
No resources found in dev namespace.
6、删除标签
[root@k8s-master ns-yml]# kubectl -n dev label pods nginx version-
pod/nginx unlabeled
[root@k8s-master ns-yml]# kubectl -n dev get pods --show-labels
NAME READY STATUS RESTARTS AGE LABELS
nginx 1/1 Running 0 20m run=nginx
使用edit进入编辑器修改
[root@k8s-master ns-yml]# kubectl -n dev edit pods nginx
4 Deployment
在kubernetes中,Pod是最小的控制单元,但是kubernetes很少直接控制Pod,一般都是通过Pod控制器来完成的。Pod控制器用于pod的管理,确保pod资源符合预期的状态,当pod的资源出现故障时,会尝试进行重启或重建pod。
在kubernetes中Pod控制器的种类有很多,本章节只介绍一种:Deployment。
命令行格式与参数的介绍
命令格式:
kubectl run deployment 名称 [参数]
参数:
--image 指定pod的镜像
--port 指定端口
--replicas 指定创建pod数量
--namespace 指定namespace
命令操作
1、创建deployment控制器
# --replicas=3:指定该 Deployment 创建的 Pod 副本数量为 3,
# 这意味着 Kubernetes 将确保始终有 3 个运行中的 Pod 实例来提供服务,实现高可用性和负载均衡
[root@k8s-master ns-yml]# kubectl create -n dev deployment nginx --image nginx:latest --port 80 --replicas=3
deployment.apps/nginx created
2、查看deployment状态
[root@k8s-master ns-yml]# kubectl -n dev get deployments.apps
NAME READY UP-TO-DATE AVAILABLE AGE
nginx 3/3 3 3 20s
# 查看pods是否开启
[root@k8s-master ns-yml]# kubectl -n dev get pods
NAME READY STATUS RESTARTS AGE
nginx-576c6b7b6-kpvnm 1/1 Running 0 27s
nginx-576c6b7b6-lw4fv 1/1 Running 0 27s
nginx-576c6b7b6-zkkpq 1/1 Running 0 27s
# UP-TO-DATE:成功升级的副本数量
# AVAILABLE:可用副本的数量
[root@k8s-master ns-yml]# kubectl -n dev get deployments.apps -o wide
NAME READY UP-TO-DATE AVAILABLE AGE CONTAINERS IMAGES SELECTOR
nginx 3/3 3 3 13m nginx nginx:latest app=nginx
# 详细查看
[root@k8s-master ns-yml]# kubectl -n dev describe deployments.apps
Name: nginx
Namespace: dev
CreationTimestamp: Mon, 30 Sep 2024 19:26:07 +0800
Labels: app=nginx
Annotations: deployment.kubernetes.io/revision: 1
Selector: app=nginx
Replicas: 3 desired | 3 updated | 3 total | 3 available | 0 unavailable
StrategyType: RollingUpdate
MinReadySeconds: 0
RollingUpdateStrategy: 25% max unavailable, 25% max surge
Pod Template:
Labels: app=nginx
Containers:
nginx:
Image: nginx:latest
Port: 80/TCP
Host Port: 0/TCP
Environment: <none>
Mounts: <none>
Volumes: <none>
Node-Selectors: <none>
Tolerations: <none>
Conditions:
Type Status Reason
---- ------ ------
Available True MinimumReplicasAvailable
Progressing True NewReplicaSetAvailable
OldReplicaSets: <none>
NewReplicaSet: nginx-576c6b7b6 (3/3 replicas created)
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal ScalingReplicaSet 14m deployment-controller Scaled up replica set nginx-576c6b7b6 to 3
尝试访问
[root@k8s-master ns-yml]# kubectl get pods -n dev -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-576c6b7b6-kpvnm 1/1 Running 0 86m 10.244.1.6 k8s-node1 <none> <none>
nginx-576c6b7b6-lw4fv 1/1 Running 0 86m 10.244.1.7 k8s-node1 <none> <none>
nginx-576c6b7b6-zkkpq 1/1 Running 0 86m 10.244.2.8 k8s-node2 <none> <none>
# 使用 exec 进入pod内部
[root@k8s-master ns-yml]# kubectl -n dev exec -it pods/nginx-576c6b7b6-kpvnm -- bash
root@nginx-576c6b7b6-kpvnm:/# echo this is 10.244.1.6 > /usr/share/nginx/html/index.html
[root@k8s-master ns-yml]# kubectl -n dev exec -it pods/nginx-576c6b7b6-lw4fv -- bash
root@nginx-576c6b7b6-lw4fv:/# echo this is 10.244.1.7 > /usr/share/nginx/html/index.html
[root@k8s-master ns-yml]# kubectl -n dev exec -it pods/nginx-576c6b7b6-zkkpq -- bash
root@nginx-576c6b7b6-zkkpq:/# echo this is 10.244.2.8 > /usr/share/nginx/html/index.html
[root@k8s-master ns-yml]# curl 10.244.1.6
this is 10.244.1.6
[root@k8s-master ns-yml]# curl 10.244.1.7
this is 10.244.1.7
[root@k8s-master ns-yml]# curl 10.244.2.8
this is 10.244.2.8
5 Service
通过上面的学习,已经能够利用Deployment来创建一组Pod来提供具有高可用性的服务。
虽然每个Pod都会分配一个单独的Pod IP,然而却存在如下两问题:
-
Pod IP 会随着Pod的重建产生变化
-
Pod IP 仅仅是集群内可见的虚拟IP,外部无法访问
这样对于访问这个服务带来了难度。因此,kubernetes设计了Service来解决这个问题。
Service可以看作是一组同类Pod对外的访问接口。借助Service,应用可以方便地实现服务发现和负载均衡。
操作一:创建集群内部可访问的Service -- ClusterIP 类型
[root@k8s-master ns-yml]# kubectl -n dev get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
nginx-576c6b7b6-kpvnm 1/1 Running 0 141m 10.244.1.6 k8s-node1 <none> <none>
nginx-576c6b7b6-lw4fv 1/1 Running 0 141m 10.244.1.7 k8s-node1 <none> <none>
nginx-576c6b7b6-zkkpq 1/1 Running 0 141m 10.244.2.8 k8s-node2 <none> <none>
[root@k8s-master ns-yml]# kubectl -n dev expose deployment nginx \
--name=svc-nginx \
--type=ClusterIP \
--port=80 --target-port=80
# 这里产生了一个CLUSTER-IP,这就是service的IP,在Service的生命周期中,这个地址是不会变动的
# 可以通过这个IP访问当前service对应的POD
# 此类型只允许集群内访问
[root@k8s-master ns-yml]# kubectl -n dev get service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
svc-nginx ClusterIP 10.110.70.130 <none> 80/TCP 11s
# 尝试访问--发现是负载均衡
# 通过 kube-proxy 实现的四层的负载均衡
# 无论是 ClusterIP还是NodePort 类型的 Service,kube-proxy 会在集群内部创建一条路由规则,
# 指向后端的 Pod。当客户端请求发送到 Service 的 Cluster IP 地址时,
# 请求会被转发到一个或多个后端 Pod 上。这种负载均衡是在第四层(传输层)进行的,
# 因此它能够处理 TCP 或 UDP 流量,并且不需要理解更高层次的应用协议。
[root@k8s-master ns-yml]# curl 10.110.70.130
this is 10.244.1.7
[root@k8s-master ns-yml]# curl 10.110.70.130
this is 10.244.2.8
[root@k8s-master ns-yml]# curl 10.110.70.130
this is 10.244.1.6
查看iptables规则
[root@k8s-master ns-yml]# iptables -t nat -nL
操作二:创建集群外部也可访问的Service -- NodePord 类型
# 删除原先的ClusterIP类型的服务
[root@k8s-master ns-yml]# kubectl -n dev delete service svc-nginx
service "svc-nginx" deleted
# 创建NodePord类型的服务
[root@k8s-master ns-yml]# kubectl -n dev expose deployment nginx \
--name=svc-nginx \
--type=NodePort \
--port=80 --target-port=80
# 查看service是否正常
[root@k8s-master ns-yml]# kubectl -n dev get service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
svc-nginx NodePort 10.109.107.195 <none> 80:30599/TCP 10s
# 在集群之外的机子访问此集群内真实IP的指定端口号
[root@harbor harbor]# curl http://192.168.239.100:30599
this is 10.244.1.6
[root@harbor harbor]# curl http://192.168.239.100:30599
this is 10.244.2.8
[root@harbor harbor]# curl http://192.168.239.100:30599
this is 10.244.1.7
[root@harbor harbor]# curl http://k8s-master:30599
this is 10.244.1.7
[root@harbor harbor]# curl http://k8s-node1:30599
this is 10.244.1.7
[root@harbor harbor]# curl http://k8s-node2:30599
this is 10.244.1.7
[root@harbor harbor]# curl http://k8s-node2:30599
this is 10.244.1.7
[root@harbor harbor]# curl http://k8s-node2:30599
this is 10.244.2.8
[root@harbor harbor]# curl http://k8s-node2:30599
this is 10.244.1.6
6 k8s开启ipvs
安装 ipvsadm 工具帮助查看
[root@k8s-master ns-yml]# yum install ipvsadm -y
未开启前查看
[root@k8s-master ns-yml]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
查看加载内核模快是否加载ipvs
[root@k8s-master ns-yml]# lsmod | grep ip_vs
ip_vs 145458 0
nf_conntrack 139264 10 ip_vs,nf_nat,nf_nat_ipv4,nf_nat_ipv6,xt_conntrack,nf_nat_masquerade_ipv4,nf_nat_masquerade_ipv6,nf_conntrack_netlink,nf_conntrack_ipv4,nf_conntrack_ipv6
libcrc32c 12644 4 xfs,ip_vs,nf_nat,nf_conntrack
修改kube-proxy配置
kube-proxy 支持多种模式来实现这种负载均衡,包括:
- iptables 模式:这是默认的模式,
kube-proxy
使用 iptables 规则来实现 Service 到 Pod 的负载均衡。 - ipvs 模式:从 Kubernetes 1.8 开始支持,使用 IPVS(IP Virtual Server)代替 iptables 来实现负载均衡。IPVS 通常被认为比 iptables 更高效,尤其是在高并发场景下。
由于kube-proxy默认是通过iptables来进行转发的,需要将iptables转换为ipvs(提高性能)
[root@k8s-master ns-yml]# kubectl -n kube-system edit configmaps kube-proxy
59 mode: "ipvs" # 修改此处 默认为空
删除所有kube-proxy的pod
删除 kube-proxy 的 Pod 后会重新创建,是为了维护 Kubernetes 集群的稳定性、高可用性以及确保关键服务的持续运行,这与 Deployment 自动管理 Pod 的副本以维持期望状态的机制有相似的目的。
[root@k8s-master ns-yml]# kubectl -n kube-system get pods
NAME READY STATUS RESTARTS AGE
coredns-66d4c695bb-f7bvq 1/1 Running 2 (33h ago) 46h
coredns-66d4c695bb-llnfv 1/1 Running 2 (33h ago) 46h
etcd-k8s-master 1/1 Running 2 (33h ago) 46h
kube-apiserver-k8s-master 1/1 Running 2 (33h ago) 46h
kube-controller-manager-k8s-master 1/1 Running 3 (33h ago) 46h
kube-proxy-czcvp 1/1 Running 0 45h
kube-proxy-tdhgm 1/1 Running 2 (33h ago) 46h
kube-proxy-vrdsj 1/1 Running 0 45h
kube-scheduler-k8s-master 1/1 Running 3 (33h ago) 46h
[root@k8s-master ns-yml]# kubectl -n kube-system delete pods kube-proxy-czcvp kube-proxy-vrdsj kube-proxy-tdhgm
pod "kube-proxy-czcvp" deleted
pod "kube-proxy-vrdsj" deleted
pod "kube-proxy-tdhgm" deleted
再次查看ipvs转发
[root@k8s-master ns-yml]# ipvsadm -ln
[root@k8s-master ns-yml]# ipvsadm -ln | grep -A 3 "192.168.239.100:30599"
TCP 192.168.239.100:30599 rr
-> 10.244.1.6:80 Masq 1 0 0
-> 10.244.1.7:80 Masq 1 0 0
-> 10.244.2.8:80 Masq 1 0 1
集群之外测试
[root@harbor harbor]# curl http://192.168.239.100:30599
this is 10.244.1.7
[root@harbor harbor]# curl http://192.168.239.100:30599
this is 10.244.1.6
[root@harbor harbor]# curl http://192.168.239.100:30599
this is 10.244.2.8