【Kubernetes 009】各种Service类型以及对应操作详解（ClusterIP，NodePort，ExternalName）

最新推荐文章于 2024-05-25 09:09:03 发布

T型人小付

最新推荐文章于 2024-05-25 09:09:03 发布

阅读量1.7k

点赞数 2

分类专栏： Devops - Kubernetes

本文链接：https://blog.csdn.net/Victor2code/article/details/105969032

版权

Devops - Kubernetes 专栏收录该内容

26 篇文章 13 订阅

订阅专栏

前面我们学习了通过控制器去批量创建和管理pod，有了pod就可以创造一个虚拟ip配合负载均衡对外提供服务了。现在新的问题又来了，如何在多个pod副本之间形成负载均衡？坏的pod被自动替换掉却有了新的ip，又该如何将新ip加入负载均衡？如何将pod提供的服务暴露给外网客户端？这些问题都需要k8s中一个叫做Service的东西来解答，这一节我们就一起来学习下Service。

我是T型人小付，一位坚持终身学习的互联网从业者。喜欢我的博客欢迎在csdn上关注我，如果有问题欢迎在底下的评论区交流，谢谢。

文章目录

Service的定义

Service就是k8s集群中的一群具有某种共性的pod，这些pod通过service的组织对外统一提供服务，service也被叫做微服务。

每个service有自己的一套label选择器，符合这些label选择器的pod就被认为属于该service，而被该service管理。service会自动获取其管理pod的ip并制定负载均衡，pod的ip有变化也会自动同步到service中。

这里说的负载均衡都是基于IP的4层负载均衡

下面这个图可以很好地说明这个关系

图中有一个叫Frontend的Service通过两个标签app=webapp,role=frontend去选择符合条件的pod，只要pod的标签中包含这两个标签即认为符合条件，标签可多不可缺。同时Service的定义中将Service的IP的443端口映射到后端pod的443端口。之后外界访问Service的443端口就会自动负载均衡到后端的3个pod中的一个。

Service的类型

k8s中的Service有如下几种类型，对应着定义Service的yaml文件的type字段

ClusterIP
默认类型，该Service的虚拟IP仅为集群内部访问
NodePort
在ClusterIP的基础上，在每个Node的物理网卡上都为该Service建立一个相同的端口映射，例如上图中将每个Node的8443端口都映射到Frontend这个Service的443端口，这样不管外部访问哪个Node的IP:8443都可以访问到该Service。如果要对集群外提供服务采用该方式，并且通常在Node的前面加上针对Node物理网卡IP的负载均衡
LoadBalancer
在NodePort的基础上，借助第三方的云服务提供Node物理网卡IP的负载均衡。企业中用的不多，因为第三方云服务要额外收费，并且完全可以用免费方案代替
ExternalName
相当于给集群外部的一个第三方服务加了一个DNS的CNAME记录，将外部流量引入集群内部

Service实现机制演进

Service的表象就是每个Node的kube-proxy进程为Service创造了一个虚拟IP，也就是VIP，到后端pod的映射关系。但是为了达到这个目的，k8s一直在改进实现机制。

了解这些实现机制，有助于我们去验证和排查Service到后端的负载均衡问题。

k8s 1.0版本，采用userspace方式，已经被完全弃用
k8s 1.1版本，增加了iptables方式，并在k8s 1.2版本变为默认方式
iptables会将负载均衡的规则写入NAT表中，可以通过iptabels -nvL -t nat来查看规则
k8s 1.8版本，增加了ipvs方式，并在k8s 1.14版本变为默认方式
ipvs有自己的管理工具ipvsadm，可以通过ipvsadm -Ln来查看规则

不使用DNS做负载均衡，因为DNS会被缓存，往往达不到均衡的效果

IPVS因为远高于iptables的性能，而在新版本中被优先采用。但是如果没有安装IPVS的模块，即使配置了IPVS方式，k8s还是会回退到iptables的方式。

修改iptables模式为ipvs模式

如果因为某些原因发现安装的1.15版本的k8s还是使用的iptables模式，按照以下方式修改为ipvs模式。

编辑kube-proxy的配置文件

kubectl edit configmap kube-proxy -n kube-system

将其中的mode ""改为mode: ipvs，然后:wq保存退出

删除现有的kube-proxy，让k8s自动替换新的

kubectl delete pod -n kube-system <pod-name>

之后查看新的kube-poxy的log，见到如下字样表示成功启用ipvs模式

Using ipvs Proxier

例如

[root@k8s-master k8s-test]# kubectl logs kube-proxy-4fw7f -n kube-system
I0506 15:56:08.640887       1 server_others.go:170] Using ipvs Proxier.
W0506 15:56:08.664133       1 proxier.go:401] IPVS scheduler not specified, use rr by default
I0506 15:56:08.664714       1 server.go:534] Version: v1.15.0
I0506 15:56:08.693167       1 conntrack.go:52] Setting nf_conntrack_max to 131072
I0506 15:56:08.693460       1 config.go:96] Starting endpoints config controller
I0506 15:56:08.693485       1 controller_utils.go:1029] Waiting for caches to sync for endpoints config controller
I0506 15:56:08.693596       1 config.go:187] Starting service config controller
I0506 15:56:08.693608       1 controller_utils.go:1029] Waiting for caches to sync for service config controller
I0506 15:56:08.793590       1 controller_utils.go:1036] Caches are synced for endpoints config controller
I0506 15:56:08.793762       1 controller_utils.go:1036] Caches are synced for service config controller

实际操作

以下所有yaml文件托管在我的Github仓库

ClusterIP

首先通过yaml文件mynginx-deployment.yaml创建出3个pod

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: mynginx-deployment
spec:
  replicas: 3
  template:
    metadata:
      labels:
        app: mynginx
        version: v2
    spec:
      containers:
        - name: mynginx
          image: mynginx:v2
          ports:
            - containerPort: 80

创建的pod信息如下

[root@k8s-master k8s-test]# kubectl apply -f mynginx-deployment.yaml
deployment.extensions/mynginx-deployment created
[root@k8s-master k8s-test]# kubectl get pod -o wide --show-labels
NAME                                 READY   STATUS    RESTARTS   AGE   IP            NODE         NOMINATED NODE   READINESS GATES   LABELS
mynginx-deployment-b66f59f66-98s7s   1/1     Running   0          11s   10.244.1.70   k8s-node1    <none>           <none>            app=mynginx,pod-template-hash=b66f59f66,version=v2
mynginx-deployment-b66f59f66-snd7r   1/1     Running   0          11s   10.244.1.69   k8s-node1    <none>           <none>            app=mynginx,pod-template-hash=b66f59f66,version=v2
mynginx-deployment-b66f59f66-zcp44   1/1     Running   0          11s   10.244.0.14   k8s-master   <none>           <none>            app=mynginx,pod-template-hash=b66f59f66,version=v2

之后创建yaml文件mynginx-service.yaml用来创建service

apiVersion: v1
kind: Service
metadata:
  name: mynginx-service
  namespace: default
spec:
  type: ClusterIP
  selector:
    app: mynginx
    version: v2
  ports:
    - name: http
      port: 8080
      targetPort: 80

创建的service信息如下

[root@k8s-master k8s-test]# kubectl apply -f mynginx-service.yaml
service/mynginx-service created
[root@k8s-master k8s-test]# kubectl get svc
NAME              TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)    AGE
kubernetes        ClusterIP   10.96.0.1     <none>        443/TCP    8d
mynginx-service   ClusterIP   10.98.205.0   <none>        8080/TCP   67s

可以看到service已经起来，验证下发现确实是采用ipvs方式做的负载均衡

[root@k8s-master k8s-test]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.96.0.1:443 rr
  -> 172.29.56.175:6443           Masq    1      0          0         
TCP  10.96.0.10:53 rr
  -> 10.244.0.2:53                Masq    1      0          0         
  -> 10.244.0.3:53                Masq    1      0          0         
TCP  10.96.0.10:9153 rr
  -> 10.244.0.2:9153              Masq    1      0          0         
  -> 10.244.0.3:9153              Masq    1      0          0         
TCP  10.98.205.0:8080 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
UDP  10.96.0.10:53 rr
  -> 10.244.0.2:53                Masq    1      0          0         
  -> 10.244.0.3:53                Masq    1      0          0

可以看到Service的vip的8080端口后面采用rr方式跟了三个pod的ip的80端口，这时为了验证，我事先分别在3个pod的index.html中写入各自的ip地址

[root@k8s-master k8s-test]# curl 10.98.205.0:8080
v2 | 10.244.1.70
[root@k8s-master k8s-test]# curl 10.98.205.0:8080
v2 | 10.244.1.69
[root@k8s-master k8s-test]# curl 10.98.205.0:8080
v2 | 10.244.0.14
[root@k8s-master k8s-test]# curl 10.98.205.0:8080
v2 | 10.244.1.70
[root@k8s-master k8s-test]# curl 10.98.205.0:8080
v2 | 10.244.1.69
[root@k8s-master k8s-test]# curl 10.98.205.0:8080
v2 | 10.244.0.14

当然也可以通过域名来访问service，域名的格式为

<svc_name>.<namespace>.svc.cluster.local

例如

[root@k8s-master k8s-test]# nslookup mynginx-service.default.svc.cluster.local 10.244.0.2
Server:		10.244.0.2
Address:	10.244.0.2#53

Name:	mynginx-service.default.svc.cluster.local
Address: 10.98.205.0

其中的10.244.0.2是其中一个CoreDNS的ip

NodePort

下面用yaml文件mynginx-service-nodeport.yaml去创建一个nodeport的service

apiVersion: v1
kind: Service
metadata:
  name: mynginx-service
  namespace: default
spec:
  type: NodePort
  selector:
    app: mynginx
    version: v2
  ports:
    - name: http
      port: 8080
      targetPort: 80
      nodePort: 30000

这里和上面的ClusterIP没有太多变化，除了type改为了NodePort，还多了一个nodePort指定了一个物理网卡上打开的端口，这个字段也可以不指定，k8s会自动指定一个。

结果如下

[root@k8s-master k8s-test]# kubectl apply -f mynginx-service-nodeport.yaml
service/mynginx-service-nodeport created
[root@k8s-master k8s-test]# kubectl get svc
NAME                       TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
kubernetes                 ClusterIP   10.96.0.1        <none>        443/TCP          8d
mynginx-service            ClusterIP   10.98.205.0      <none>        8080/TCP         88m
mynginx-service-nodeport   NodePort    10.107.255.100   <none>        8080:30000/TCP   4s

这时从另外一台集群外的机器上访问两台node的30000端口就可以看到pod的信息，例如从我的windows机器上

C:\Users\Admin>curl 172.29.56.175:30000
v2 | 10.244.1.70

C:\Users\Admin>curl 172.29.56.175:30000
v2 | 10.244.1.69

C:\Users\Admin>curl 172.29.56.175:30000
v2 | 10.244.0.14

C:\Users\Admin>curl 172.29.56.176:30000
v2 | 10.244.1.70

C:\Users\Admin>curl 172.29.56.176:30000
v2 | 10.244.1.69

C:\Users\Admin>curl 172.29.56.176:30000
v2 | 10.244.0.14

并且在两台node上分别查询ipvs信息也会看到

[root@k8s-master ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.17.0.1:30000 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
TCP  172.29.56.175:30000 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
TCP  10.96.0.1:443 rr
  -> 172.29.56.175:6443           Masq    1      0          0         
TCP  10.96.0.10:53 rr
  -> 10.244.0.2:53                Masq    1      0          0         
  -> 10.244.0.3:53                Masq    1      0          0         
TCP  10.96.0.10:9153 rr
  -> 10.244.0.2:9153              Masq    1      0          0         
  -> 10.244.0.3:9153              Masq    1      0          0         
TCP  10.98.205.0:8080 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
TCP  10.107.255.100:8080 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
TCP  10.244.0.0:30000 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
TCP  10.244.0.1:30000 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
TCP  127.0.0.1:30000 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
UDP  10.96.0.10:53 rr
  -> 10.244.0.2:53                Masq    1      0          0         
  -> 10.244.0.3:53                Masq    1      0          0

[root@k8s-node1 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.17.0.1:30000 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
TCP  172.29.56.176:30000 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
TCP  10.96.0.1:443 rr
  -> 172.29.56.175:6443           Masq    1      0          0         
TCP  10.96.0.10:53 rr
  -> 10.244.0.2:53                Masq    1      0          0         
  -> 10.244.0.3:53                Masq    1      0          0         
TCP  10.96.0.10:9153 rr
  -> 10.244.0.2:9153              Masq    1      0          0         
  -> 10.244.0.3:9153              Masq    1      0          0         
TCP  10.98.205.0:8080 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
TCP  10.107.255.100:8080 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
TCP  10.244.1.0:30000 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
TCP  10.244.1.1:30000 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
TCP  127.0.0.1:30000 rr
  -> 10.244.0.14:80               Masq    1      0          0         
  -> 10.244.1.69:80               Masq    1      0          0         
  -> 10.244.1.70:80               Masq    1      0          0         
UDP  10.96.0.10:53 rr
  -> 10.244.0.2:53                Masq    1      0          0         
  -> 10.244.0.3:53                Masq    1      0          0

LoadBalancer

因为需要额外收费的第三方云服务，这里就不演示了。相信企业中采用这种方式的也很少。

ExternalName

通过yaml文件test-externalname.yaml创建一个service

apiVersion: v1
kind: Service
metadata:
  name: test-externalname
  namespace: default
spec:
  type: ExternalName
  externalName: www.baidu.com

相当于在内部创建了一个www.baidu.com的别名。创建结果如下

[root@k8s-master k8s-test]# kubectl apply -f test-externalname.yaml
service/test-externalname created
[root@k8s-master k8s-test]# kubectl get svc
NAME                       TYPE           CLUSTER-IP       EXTERNAL-IP     PORT(S)          AGE
kubernetes                 ClusterIP      10.96.0.1        <none>          443/TCP          8d
mynginx-service            ClusterIP      10.98.205.0      <none>          8080/TCP         10h
mynginx-service-nodeport   NodePort       10.107.255.100   <none>          8080:30000/TCP   9h
test-externalname          ExternalName   <none>           www.baidu.com   <none>           7s

这时候在集群内部就可以用cname进行查询了，cname的格式和之前的一样

[root@k8s-master k8s-test]# nslookup test-externalname.default.svc.cluster.local 10.244.0.3
Server:		10.244.0.3
Address:	10.244.0.3#53

test-externalname.default.svc.cluster.local	canonical name = www.baidu.com.
www.baidu.com	canonical name = www.a.shifen.com.
www.a.shifen.com	canonical name = www.wshifen.com.
Name:	www.wshifen.com
Address: 104.193.88.77
Name:	www.wshifen.com
Address: 104.193.88.123

总结

这一节我们学习了k8s中的几种基本的service类型以及对应的操作，但是这些都是基于4层做的负载均衡，如果要实现7层的负载均衡，就需要一种特殊的Service了，也就是下一节我们要一起学习的Ingress。

T型人小付

关注

2
点赞
踩
4

收藏

觉得还不错? 一键收藏
1
评论
【Kubernetes 009】各种Service类型以及对应操作详解（ClusterIP，NodePort，ExternalName）

前面我们学习了通过控制器去批量创建和管理pod，有了pod就可以创造一个虚拟ip配合负载均衡对外提供服务了。现在新的问题又来了，如何在多个pod副本之间形成负载均衡？坏的pod被自动替换掉却有了新的ip，又该如何将新ip加入负载均衡？如何将pod提供的服务暴露给外网客户端？这些问题都需要k8s中一个叫做Service的东西来解答，这一节我们就一起来学习下Service。我是T型人小付，一位坚持...
复制链接

扫一扫

专栏目录