k8s IPVS模式下externalIP导致节点故障浅析

最新推荐文章于 2024-04-22 07:15:00 发布
最新推荐文章于 2024-04-22 07:15:00 发布
阅读量3.6k 收藏 11
点赞数 4
分类专栏： Kubernetes 文章标签： linux kubernetes 运维 centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41586875/article/details/124330823
版权

背景

k8s集群一旦将svc中的externalIP设置成集群内任何一个节点IP，就会导致calico、kubelet、kube-proxy等组件无法与apiserver进行通信

环境

主机名IP
k8s-master-1(k8s-v1.20.10)192.168.0.10
k8s-node-1(k8s-v1.20.10)192.168.0.11
# Pod-IP
	10.0.0.0/16

# Service-IP
	10.70.0.0/16

现象

# 测试yaml
[root@k8s-master-1 externalip]# cat deployment.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: busybox
spec:
  replicas: 1
  selector:
    matchLabels:
      app: httpd
  template:
    metadata:
      labels:
        app: httpd
    spec:
      containers:
      - name: busybox
        image: busybox:1.28
        imagePullPolicy: IfNotPresent
        command: ["/bin/sh","-c","echo -c 'this is httpd-v1 > /var/www/index.html';httpd -f -h /var/www"]
        ports:
        - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: busybox
spec:
  externalIPs:
  - 192.168.0.11
  type: ClusterIP
  ports:
  - port: 8888
    targetPort: 80
    protocol: TCP
  selector:
    app: httpd

# 查看集群状态
[root@k8s-master-1 yaml]# kubectl get pods -A
NAMESPACE     NAME                                       READY   STATUS    RESTARTS   AGE
kube-system   calico-kube-controllers-5855d94c7d-xz45j   1/1     Running   0          29s
kube-system   calico-node-4ftkk                          1/1     Running   0          28s
kube-system   calico-node-pcsw6                          1/1     Running   0          28s
kube-system   coredns-6f4c9cb7c5-2wsww                   1/1     Running   0          13s

# 部署externalip
[root@k8s-master-1 externalip]# kubectl apply -f deployment.yaml


# 过一会儿查看pod，calico-node无法ready了
[root@k8s-master-1 yaml]# kubectl get pods -A
NAMESPACE     NAME                                       READY   STATUS    RESTARTS   AGE
default       busybox-58984c55cc-44b6c                   0/1     Pending   0          3m21s
kube-system   calico-kube-controllers-5855d94c7d-xz45j   1/1     Running   0          5m13s
kube-system   calico-node-4ftkk                          0/1     Running   0          5m12s
kube-system   calico-node-pcsw6                          1/1     Running   0          5m12s
kube-system   coredns-6f4c9cb7c5-2wsww                   1/1     Running   0          4m57s



# 查看k8s-node-1日志
==> kube-proxy.INFO <==
I0420 16:32:40.293230    4655 service.go:275] Service default/busybox updated: 1 ports
I0420 16:32:40.293615    4655 service.go:390] Adding new service port "default/busybox" at 10.0.237.220:8888/TCP
I0420 16:32:40.367114    4655 proxier.go:2243] Opened local port "externalIP for default/busybox" (192.168.0.11:8888/tcp)

==> kube-proxy.k8s-node-1.root.log.INFO.20220420-161329.4655 <==
I0420 16:32:40.293230    4655 service.go:275] Service default/busybox updated: 1 ports
I0420 16:32:40.293615    4655 service.go:390] Adding new service port "default/busybox" at 10.0.237.220:8888/TCP
I0420 16:32:40.367114    4655 proxier.go:2243] Opened local port "externalIP for default/busybox" (192.168.0.11:8888/tcp)

==> kubelet.ERROR <==
E0420 16:32:57.962067    4333 controller.go:187] failed to update lease, error: Put "https://192.168.0.10:6443/apis/coordination.k8s.io/v1/namespaces/kube-node-lease/leases/k8s-node-1?timeout=10s": context deadline exceeded
E0420 16:32:59.810776    4333 kubelet_node_status.go:470] Error updating node status, will retry: error getting node "k8s-node-1": Get "https://192.168.0.10:6443/api/v1/nodes/k8s-node-1?resourceVersion=0&timeout=10s": net/http: request canceled (Client.Timeout exceeded while awaiting headers)


, ReportingInstance:""}': 'Post "https://192.168.0.10:6443/api/v1/namespaces/default/events": dial tcp 192.168.0.10:6443: connect: connection refused'(may retry after sleeping)
E0420 13:09:58.810236    6420 kubelet.go:2263] node "k8s-node-1" not found
E0420 13:13:50.096947    8005 reflector.go:138] k8s.io/client-go/informers/factory.go:134: Failed to watch *v1.CSIDriver: failed to list *v1.CSIDriver: Get "https://192.168.0.10:6443/apis/storage.k8s.io/v1/csidrivers?limit=500&resourceVersion=0": dial tcp 192.168.0.10:6443: connect: connection refused
E0420 13:14:47.641827    8005 controller.go:144] failed to ensure lease exists, will retry in 7s, error: Get "https://192.168.0.10:6443/apis/coordination.k8s.io/v1/namespaces/kube-node-lease/leases/k8s-node-1?timeout=10s": dial tcp 192.168.0.10:6443: connect: connection refused

# 测试apiserver端口，端口也不通了
[root@k8s-node-1 kubernetes]# telnet 192.168.0.10 6443
Trying 192.168.0.10...
^C

分析

service信息
# 查看SVC(将IP修改成不是二节点的IP)
[root@k8s-master-1 ~]# kubectl get svc
NAME         TYPE        CLUSTER-IP    EXTERNAL-IP    PORT(S)    AGE
busybox      ClusterIP   10.0.238.86   192.168.0.15   8888/TCP   4h16m
kubernetes   ClusterIP   10.0.0.1      <none>         443/TCP    186d

# 查看POD
[root@k8s-master-1 ~]# kubectl get pods -A -o wide
NAMESPACE     NAME                                       READY   IP             NODE       
default       busybox-58984c55cc-2jgmv                   1/1     10.70.2.65     k8s-master-1  
kube-system   calico-kube-controllers-5855d94c7d-lzskg   1/1     192.168.0.10   k8s-master-1  
kube-system   calico-node-djj49                          1/1     192.168.0.11   k8s-node-1     
kube-system   calico-node-hr9vf                          1/1     192.168.0.10   k8s-master-1   
kube-system   coredns-6f4c9cb7c5-vrbgw                   1/1     10.70.2.71     k8s-master-1
网卡信息
# k8s-master-1 网卡信息
[root@k8s-master-1 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:34:ce:c5 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.10/24 brd 192.168.0.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::624c:c1db:e3b4:9165/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: tunl0@NONE: <NOARP,UP,LOWER_UP> mtu 1480 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ipip 0.0.0.0 brd 0.0.0.0
    inet 10.70.2.64/32 scope global tunl0
       valid_lft forever preferred_lft forever
4: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:2c:39:4d:d5 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
5: dummy0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether c6:d8:18:d4:90:5a brd ff:ff:ff:ff:ff:ff
6: kube-ipvs0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    link/ether 4a:f3:f8:f2:a6:aa brd ff:ff:ff:ff:ff:ff # kube-ipvs0这张网卡上的IP为集群SVC的IP，且每个节点都有
    inet 10.0.238.86/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 192.168.0.15/32 scope global kube-ipvs0   # 这个IP就是external的，如果把这个IP设置成二个节点之一，会导致IPVS转发出问题
       valid_lft forever preferred_lft forever
    inet 10.0.0.1/32 scope global kube-ipvs0       # 这个IP会将流量转发到apiserver
       valid_lft forever preferred_lft forever
    inet 10.0.0.10/32 scope global kube-ipvs0	   # DNS
       valid_lft forever preferred_lft forever
9: calia2fcccbef15@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1480 qdisc noqueue state UP group default 
    link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::ecee:eeff:feee:eeee/64 scope link 
       valid_lft forever preferred_lft forever
10: califb8bd460169@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1480 qdisc noqueue state UP group default 
    link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netnsid 1
    inet6 fe80::ecee:eeff:feee:eeee/64 scope link 
       valid_lft forever preferred_lft forever
 
# k8s-node-1 网卡信息
[root@k8s-node-1 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:25:c5:0b brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.11/24 brd 192.168.0.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe25:c50b/64 scope link 
       valid_lft forever preferred_lft forever
3: tunl0@NONE: <NOARP,UP,LOWER_UP> mtu 1480 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ipip 0.0.0.0 brd 0.0.0.0
    inet 10.70.2.0/32 scope global tunl0
       valid_lft forever preferred_lft forever
4: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default 
    link/ether 02:42:fd:f2:6b:91 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
5: dummy0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 7e:07:bb:db:5f:a6 brd ff:ff:ff:ff:ff:ff
6: kube-ipvs0: <BROADCAST,NOARP> mtu 1500 qdisc noop state DOWN group default 
    link/ether 5e:ea:10:20:21:f9 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.10/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.0.238.86/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 192.168.0.15/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
    inet 10.0.0.1/32 scope global kube-ipvs0
       valid_lft forever preferred_lft forever
ipvs信息
# 查看k8s-master-1-ipvs
[root@k8s-master-1 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.15:8888 rr		# 将192.168.0.15:8888 -> 10.70.2.65（pod-ip）
  -> 10.70.2.65:80                Masq    1      0          0         
TCP  10.0.0.1:443 rr
  -> 192.168.0.10:6443            Masq    1      2          0         
TCP  10.0.0.10:53 rr
  -> 10.70.2.71:53                Masq    1      0          0         
TCP  10.0.0.10:9153 rr
  -> 10.70.2.71:9153              Masq    1      0          0         
TCP  10.0.238.86:8888 rr
  -> 10.70.2.65:80                Masq    1      0          0         
UDP  10.0.0.10:53 rr
  -> 10.70.2.71:53                Masq    1      0          0 
  
# 查看k8s-node-1-ipvs
[root@k8s-node-1 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.0.15:8888 rr
  -> 10.70.2.65:80                Masq    1      0          0         
TCP  10.0.0.1:443 rr
  -> 192.168.0.10:6443            Masq    1      0          0         
TCP  10.0.0.10:53 rr
  -> 10.70.2.71:53                Masq    1      0          0         
TCP  10.0.0.10:9153 rr
  -> 10.70.2.71:9153              Masq    1      0          0         
TCP  10.0.238.86:8888 rr
  -> 10.70.2.65:80                Masq    1      0          0         
UDP  10.0.0.10:53 rr
  -> 10.70.2.71:53                Masq    1      0          0
kube-ipvs0复现
# 查看网卡信息
[root@boy ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:ec:1c:2d brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.10/24 brd 192.168.0.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::624c:c1db:e3b4:9165/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: ens36: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:ec:1c:37 brd ff:ff:ff:ff:ff:ff
    inet 10.70.2.199/24 brd 10.70.2.255 scope global noprefixroute ens36
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:feec:1c37/64 scope link 
       valid_lft forever preferred_lft forever

# 将ens36 down了，然后配置一个IP
[root@boy ~]# ip link set ens36 down
[root@boy ~]# ip addr add 192.168.0.11/32 dev ens36

# 查看网络信息
[root@boy ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:ec:1c:2d brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.10/24 brd 192.168.0.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::624c:c1db:e3b4:9165/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: ens36: <BROADCAST,MULTICAST> mtu 1500 qdisc pfifo_fast state DOWN group default qlen 1000
    link/ether 00:0c:29:ec:1c:37 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.11/32 scope global ens36
       valid_lft forever preferred_lft forever


# 对192.168.0.11进行网络测试(此时ens36功能和kube-ipvs0差不多)
[root@boy ~]# ping 192.168.0.11
PING 192.168.0.11 (192.168.0.11) 56(84) bytes of data.
64 bytes from 192.168.0.11: icmp_seq=1 ttl=64 time=0.039 ms
64 bytes from 192.168.0.11: icmp_seq=2 ttl=64 time=0.069 ms

# 对回环口进行抓包，可见因为192.168.0.11(即使这张网卡down了)为本机IP，所以去192.168.0.11的流量全部会进入回环口
[root@boy ~]# tcpdump -i lo icmp -Nnvv
tcpdump: listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
11:59:59.871594 IP (tos 0x0, ttl 64, id 37520, offset 0, flags [DF], proto ICMP (1), length 84)
    192.168.0.11 > 192.168.0.11: ICMP echo request, id 1752, seq 8, length 64
11:59:59.871622 IP (tos 0x0, ttl 64, id 37521, offset 0, flags [none], proto ICMP (1), length 84)
    192.168.0.11 > 192.168.0.11: ICMP echo reply, id 1752, seq 8, length 64
12:00:00.871450 IP (tos 0x0, ttl 64, id 37555, offset 0, flags [DF], proto ICMP (1), length 84)
    192.168.0.11 > 192.168.0.11: ICMP echo request, id 1752, seq 9, length 64
12:00:00.871478 IP (tos 0x0, ttl 64, id 37556, offset 0, flags [none], proto ICMP (1), length 84)
    192.168.0.11 > 192.168.0.11: ICMP echo reply, id 1752, seq 9, length 64

根本原因

# 将externalip 修该为MASTER-IP
[root@k8s-master-1 ~]# kubectl get svc
NAME         TYPE        CLUSTER-IP    EXTERNAL-IP    PORT(S)    AGE
busybox      ClusterIP   10.0.238.86   192.168.0.10   8888/TCP   5h30m
kubernetes   ClusterIP   10.0.0.1      <none>         443/TCP    186d


# k8s-master-1 ping k8s-node-1
kubernetes   ClusterIP   10.0.0.1      <none>         443/TCP    186d
[root@k8s-master-1 ~]# ping 192.168.0.11
PING 192.168.0.11 (192.168.0.11) 56(84) bytes of data.
From 192.168.0.10 icmp_seq=1 Destination Host Unreachable
From 192.168.0.10 icmp_seq=2 Destination Host Unreachable
From 192.168.0.10 icmp_seq=3 Destination Host Unreachable
From 192.168.0.10 icmp_seq=4 Destination Host Unreachable
From 192.168.0.10 icmp_seq=5 Destination Host Unreachable
From 192.168.0.10 icmp_seq=6 Destination Host Unreachable


# k8s-master-1抓包
[root@k8s-master-1 ~]# tcpdump -i any arp -Nvvn
tcpdump: listening on any, link-type LINUX_SLL (Linux cooked), capture size 262144 bytes
23:23:59.687475 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 28
23:24:00.711622 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 28
23:24:01.736505 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 28
23:24:02.758823 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 28
23:24:03.783078 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 28
23:24:04.806981 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 28
23:24:05.831077 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 28
23:24:06.855043 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 28
23:24:07.878912 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 28
23:24:08.903272 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 28


# k8s-node-1抓包
[root@k8s-node-1 ~]# tcpdump -i any arp -Nvn
tcpdump: listening on any, link-type LINUX_SLL (Linux cooked), capture size 262144 bytes
23:24:02.732899 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 46
23:24:03.756971 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 46
23:24:04.780764 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 46
23:24:05.804609 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 46
23:24:06.828534 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 46
23:24:07.852242 ARP, Ethernet (len 6), IPv4 (len 4), Request who-has 192.168.0.11 tell 192.168.0.10, length 46
  • 根据上面的抓包可知，k8s-master-1将ARP-Request数据包发送给k8s-node-1，k8s-node-1的确也收到这个ARP包了，但是由于extertalip这个IP,k8s-node-1节点也拥有，所以会将k8s-master-1的ARP Request发送给lo，lo然后把数据包发送给协议栈，协议栈发送给应用程序(实际上k8s-node-1并没有程序需要这个包，这也就导致了k8s-master-1没有收到ARP响应包(这个响应包被k8s-node-1本身接收了)，导致k8s-master-1无法获取k8s-node-1的MAC地址，从而导致了集群异常)
  • k8s的每一个SVC IP都会在集群内部每个节点的kube-ipvs0网卡下生成IP，每个节点对这个IP进行ARP、ping等的流量都会被发送到本机的lo口，只有对这个IP特定端口，会被ipvs转发到后端的Pod某个端口
  • k8s-node-1组件异常：因为192.168.0.10在k8s-node-1也有，当k8s-node-1的kublet和kube-proxy与k8s-master-1的apiserver通信时，会把流量转发到本机6443端口，但是ipvs没做这个转发，故而k8s-node-1组件无法与k8s-master-1通信了
旺仔_牛奶
关注
  • 4
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 11
    评论
专栏目录
k8s3主1从-1.15.1-高可用搭建-ipvs模式
06-28
在本主题中，我们将深入探讨如何使用 Kubernetes (k8s) 1.15.1 版本构建一个高可用的集群，特别是采用 IPVS 模式。IPVS（Internet Protocol Virtual Server）是一种高效的负载均衡解决方案，适用于 Kubernetes 集群...
安装k8s 1.24.0
08-19
安装 k8s 1.24.0 安装 k8s 1.24.0 需要注意以下几个重要的知识点： 一、环境准备 在安装 k8s 1.24.0 之前，需要准备一台兼容的 Linux 主机，需要满足以下条件： * 兼容的 Linux 发行版，例如 Debian、Red Hat 等...
kubernetes下externalIP的使用
李炜伦的博客
02-22 6995
nodeport使用的场景主要是集群每个主机监听同一个port，然后数据回传到有service的主机，DSR或者SNAT响应。 缺点: 1.负载不均匀 2.port范围受限，修改nodeport范围要考虑集群内部端口冲突问题，容易导致apiserver挂了。 针对这些缺点，loadbalancer和externalIP以及ingress都是解决方案 ...
k8s之PodIP、ClusterIP和ExternalIP
思月行云
06-30 1万+
k8s之PodIP、ClusterIP和ExternalIP https://www.cnblogs.com/embedded-linux/p/12657128.html Pod IP Kubernetes的最小部署单元是Pod。利用Flannel作为不同HOST之间容器互通技术时，由Flannel和etcd维护了一张节点间的路由表。Flannel的设计目的就是为集群中的所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得“同属一个内网”且”不重复的”IP地址，并让属于不同节点上的容器
K8s: 从集群外部访问Service
Wang的专栏
04-22 1146
在前面我们一直实践的是在集群内部访问 Service，之前有2种方法 方法1：在一个node节点上，通过对创建的的时候，对port进行一个环境变量的注册 来保证Service能够正确对 不同的pod 访问到 就是在这个node节点上，也是在集群内部 方法2：另外一种方式呢是通过DNS记录 比如说静态的pod创建这种专有域名的方式来保证集群内部都能访问到这个pod，这个service
【k8s】K8S中的IP地址(Node IP、Pod IP、Cluster IP、External IP、Internal-IP)
热门推荐
m0_45406092的博客
07-21 2万+
文章目录参考 kubernetes里有三张不同的网络，每种IP地址，就代表一个不同的寻址空间： Node IP：Node节点的IP地址 Pod IP：Pod的IP地址 Cluster IP：Service的IP地址 首先，Node IP是kubernetes集群中每个节点的物理网卡的IP地址（包括虚拟机的网卡），这是一个真实存在的物理网络，所有属于这个网络的服务器之间都能通过这个网络进行通信，不管他们中是否有部分节点不属于这个kebernetes集群。这也表明了Kubenetes集群之外的节点访问Kub
k8s_day03_04
qq_36801585的博客
12-06 1954
k8s_day03_04 ​ service 要想合理的关联到后端pod 来， 必须借助合适的标签选择器 label selector, 标签选择器依赖于被选择对象之上的各个标签 Service的类型 1、ClusterIP： ​ 通过集群内部IP地址暴露服务，但该地址仅在集群内部可见、可达，它无法被集群外部的客户端访问；默认类型； eg：创建svc [root@master01 chapter7]# cat services-clusterip-demo.yaml # Maintainer: Ma
K8S 暴露服务给外网访问的三种方式
极客神殿
06-19 3639
负载均衡可以建立在 OSI 网络模型的不同级别上，主要是在 L4（传输层，例如 TCP/UDP）和 L7（应用层，例如 HTTP）上。将会从地址池中获取一个用于外部访问的 IP，当外部流量进入时，ARP 将我们的请求地址广播以获取所属的。如果有多个服务，可以使用 Nginx Ingress 来通过域名和路径区分不同的服务。其实就是守护进程加一个反向代理的应用，守护进程不断监听集群中资源的变化，将。，再把域名解析指向该地址，就实现了集群服务的对外暴露。的一个注解，当后端服务中暴露的 URL 与。
K8s 集群节点状态显示notready问题处理
hedao0515的专栏
03-20 2188
K8s 集群节点状态显示notready问题处理
k8s3主1从-1.15.1-高可用搭建-ipvs模式-kubernetes高可用安装包和详细文档笔记整理
最新发布
05-27
1.15.1-高可用搭建-ipvs模式-kubernetes高可用安装包和详细文档笔记整理”显然是一个针对k8s 1.15.1版本的高可用性（HA）集群的搭建指南，特别强调了使用IPVS（IP虚拟服务器）作为服务负载均衡器的模式。 在k8s中，...
超级kubeadm 高可用k8s-master用
08-14
目前kubernetes高可用需要要么依赖外部负载均衡器，自己搭建时就需要做keepalived haproxy等，比较麻烦，在某些云上可能keepalived还无法...sealyun定制超级版kubeadm通过ipvs代理多个master，优雅解决k8s高可用问题。
Setup K8S Cluster Environment.docx
12-11
9. **禁用SWAP**：K8S不推荐在运行其组件的机器上使用SWAP，因为它可能导致内存管理问题。 10. **添加网络桥和地址转发设置**：创建网络桥接，并开启IP地址转发，以实现节点间的数据包转发。 11. **启用ipvs**：在...
K8S系列文章之 内外网如何互相访问
Coder_Boy_的博客
08-05 2939
K8S中网络这块主要考虑 如何访问外部网络以及外部如何访问内部网络。
每天五分钟玩转K8S（五）
guluguluman的博客
12-01 1325
一、service的必要性 对于k8s，pod不需要是robust的，因为可以通过controller来动态创建和销毁pod来保证应用整体的健壮性。由于每个pod都有自己的地址，所以当controller用新pod替代发生故障的pod时，新pod会分配新的ip地址。那么会导致ip地址发生变化，这时候就需要使用service来维护一个对外网络。 Kubernetes Service从逻辑上代表了一组Pod， 具体是哪些Pod则是由label来挑选的。 Service有自己的IP， 而且这个IP是不变的。 客户
【k8s】LoadBalancer类型服务需要依赖云平台
m0_45406092的博客
07-20 1334
在k8s中创建service时，需要指定type类型，可以分别指定ClustrerIP,NodePort,LoadBalancer三种，其中前面两种无论在内网还是公网环境下使用都很常见，只有LoadBalancer大部分情况下只适用于支持外部负载均衡器的云提供商（AWS,阿里云,华为云等）使用。 如果想要在内网环境中，使用type=LoadBalancer就需要部署另外的插件，例如MetalLB插件 ...
Kubernetes 4 （service、实现外部访问）
qq_38664479的博客
09-27 1092
目录一、serviceIPVS模式的service二、实现外部访问1.NodePort方式 一、service 1、简介： Service可以看作是一组提供相同服务的Pod对外的访问接口。借助Service，应用可以方便地实现服务发现和负载均衡。service默认只支持4层负载均衡能力，没有7层功能。（可以通过Ingress实现） 2、service的类型： ClusterIP：默认值，k8s系统给service自动分配的虚拟IP，只能在集群内部访问。 NodePort：将Service通过指定的Node上
k8s的etcd启动报错
知本知至的博客
10-15 2355
解决问题的方法，直接将节点1的etcd数据目录文件夹移除，尝试将etcd2上面的数据拷贝过来。是由于恢复快照数据失败。查看其他两个节点是否也有同样报错。6443端口无任何程序监听，判断可能是etcd出现了故障。电脑休眠状态意外断电导致虚拟机直接进入关机状态。etcd、api-server服务恢复。幸运的是节点2的etcd启动正常。kubectl命令使用正常。master节点上的容器。ps -a看到退出的容器。kubectl命令报错。kubelet服务报错。
K8s暴露端口与代理方式
世间万事，风云变幻，苍黄翻覆，纵使波橘云诡，但制心一处，便无事不成。天定胜人，人定兮胜天。
12-26 2352
K8s暴露端口与代理方式 kubernetes暴露端口的方式 方式1：clusterIP 此类型会提供一个集群内部的虚拟IP（与pod不在同一网段），以供集群内部的pod之间通信使用。clusterIP也是kubernetes service的默认类型 主要需要以下几个组件的协同工作 apiservice：在创建service时，apiserver接收到请求以后将数据存储到etcd中。 kube-proxy：k8s的每个节点中都有该进程，负责实现service功能，这个进程负责感知service，pod的变
Kubernetes二进制手动搭建文档(单master).docx
03-19
本文将详细介绍在单master节点上搭建Kubernetes集群的过程，同时采用calico模式和ipvs模式来实现网络功能。 首先，必须确保Kubernetes的版本为1.19，这是本文所用的版本。所有的yaml文件都可以在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旺仔_牛奶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值