还没验证文档先一波
FEATURE STATE: Kubernetes v1.16 [alpha]
IPv4/IPv6 双协议栈能够将 IPv4 和 IPv6 地址分配给 Pod 和 Service。
如果你为 Kubernetes 集群启用了 IPv4/IPv6 双协议栈网络, 则该集群将支持同时分配 IPv4 和 IPv6 地址。
Alpha版的更新:IPV4/IPV6
为了支持基于用户和社区反馈的双栈IPv4/IPv6服务,双栈 IPv4/IPv6 已重新实现。这允许将 IPv4 和 IPv6 service cluster IP 地址分配给单个service,还可以将service从单个 IP 栈转换到双 IP 栈,反之亦然。
支持的功能
在 Kubernetes 集群上启用 IPv4/IPv6 双协议栈可提供下面的功能:
- 双协议栈 pod 网络 (每个 pod 分配一个 IPv4 和 IPv6 地址)
- IPv4 和 IPv6 启用的服务
- Pod 的集群外出口通过 IPv4 和 IPv6 路由
先决条件
为了使用 IPv4/IPv6 双栈的 Kubernetes 集群,需要满足以下先决条件:
- Kubernetes 1.20 版本及更高版本,有关更早 Kubernetes 版本的使用双栈服务的信息,请参考那个版本的 Kubernetes 文档。
- 提供商支持双协议栈网络(云提供商或其他提供商必须能够为 Kubernetes 节点提供可路由的 IPv4/IPv6 网络接口)(aws主机设置ipv6参考:ipv6和aws ec2开启ipv6,nginx默认静态网站_十个菜-CSDN博客)
- 支持双协议栈的网络插件(如 Kubenet 或 Calico)
- 单独主机举例:
#加载ipv6内核模块 # vim /etc/modprobe.d/disable_ipv6.conf options ipv6 disable=0 #启用ipv6网络 vim /etc/sysconfig/network NETWORKING_IPV6=yes #配置ipv6地址 # vim /etc/sysconfig/network-scripts/ifcfg-eth0 IPV6INIT=yes IPV6_AUTOCONF=no IPV6ADDR=2003:ac18::30a:1/64 IPV6_DEFAULTGW=2003:ac18::30a:ff/64 #临时生效,配置ipv6网关 # route -A inet6 add default gw 2003:ac18::30a:254 #sysctl参数启用ipv6 vim /etc/sysctl.conf net.ipv6.conf.all.disable_ipv6 = 0 net.ipv6.conf.default.disable_ipv6 = 0 net.ipv6.conf.lo.disable_ipv6 = 0 net.ipv6.conf.all.forwarding=1 sysctl -p
启用 IPv4/IPv6 双协议栈
要启用 IPv4/IPv6 双协议栈,为集群的相关组件启用 IPv6DualStack
特性门控, 并且设置双协议栈的集群网络分配:
- kube-apiserver:
--feature-gates="IPv6DualStack=true"
--service-cluster-ip-range=<IPv4 CIDR>,<IPv6 CIDR>
-
# vim /etc/kubernetes/manifests/kube-apiserver.yaml --feature-gates=IPv6DualStack=true --service-cluster-ip-range=10.96.0.0/12,fd00::/108
- kube-controller-manager:
--feature-gates="IPv6DualStack=true"
--cluster-cidr=<IPv4 CIDR>,<IPv6 CIDR>
例如--cluster-cidr=10.244.0.0/16,fc00::/48
--service-cluster-ip-range=<IPv4 CIDR>,<IPv6 CIDR>
例如--service-cluster-ip-range=10.0.0.0/16,fd00::/108
--node-cidr-mask-size-ipv4|--node-cidr-mask-size-ipv6
对于 IPv4 默认为 /24,对于 IPv6 默认为 /64-
# vim /etc/kubernetes/manifests/kube-controller-manager.yaml --feature-gates=IPv6DualStack=true --service-cluster-ip-range=10.96.0.0/12,fd00::/108 --cluster-cidr=172.16.0.0/16,fc00::/48 --node-cidr-mask-size-ipv4=24 --node-cidr-mask-size-ipv6=64
- kubelet:
--feature-gates="IPv6DualStack=true"
-
vim /etc/sysconfig/kubelet --feature-gates=IPv6DualStack=true"
- kube-proxy:
--cluster-cidr=<IPv4 CIDR>,<IPv6 CIDR>
--feature-gates="IPv6DualStack=true"
说明:
IPv4 CIDR 的一个例子:
10.244.0.0/16
(尽管你会提供你自己的地址范围)IPv6 CIDR 的一个例子:
fdXY:IJKL:MNOP:15::/64
(这里演示的是格式而非有效地址 - 请看 RFC 4193)
calico支持ipv4/ipv6双栈,这里采用calico v3.17版本. calico部署可以按节点规模来选择不同的形式:
- Install Calico with Kubernetes API datastore, 50 nodes or less
- Install Calico with Kubernetes API datastore, more than 50 nodes
- Install Calico with etcd datastore
这里选择第一种
# curl https://docs.projectcalico.org/manifests/calico.yaml -O
calico启用ipv4/ipv6双栈
# vim calico.yaml
#calico-config ConfigMap处
"ipam": {
"type": "calico-ipam",
"assign_ipv4": "true",
"assign_ipv6": "true"
},
- name: IP
value: "autodetect"
- name: IP6
value: "autodetect"
- name: CALICO_IPV4POOL_CIDR
value: "172.16.0.0/16"
- name: CALICO_IPV6POOL_CIDR
value: "fc00::/48"
- name: FELIX_IPV6SUPPORT
value: "true"
# kubectl apply -f calico.yaml
# kubectl -n kube-system get pod |grep calico
calico-kube-controllers-5dc87d545c-crmjv 1/1 Running 0 178m
calico-node-bjk7d 1/1 Running 0 4h2m
calico-node-hhgm5 1/1 Running 0 4h2m
ipvs模式下不需要配置ipv6默认网关,宿主机也可以访问clusterIP
# curl -I -g -6 'http://[fd00::9955]'
HTTP/1.1 200 OK
Server: nginx/1.19.5
Date: Mon, 30 Nov 2020 02:37:45 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Tue, 24 Nov 2020 13:02:03 GMT
Connection: keep-alive
ETag: "5fbd044b-264"
Accept-Ranges: bytes
参考https://www.iceyao.com.cn/2020/11/28/k8s_dual_stack/
服务
如果你的集群启用了 IPv4/IPv6 双协议栈网络,则可以使用 IPv4 或 IPv6 地址来创建 Service。 服务的地址族默认为第一个服务集群 IP 范围的地址族(通过 kube-controller-manager 的 --service-cluster-ip-range
参数配置) 当你定义服务时,可以选择将其配置为双栈。若要指定所需的行为,你可以设置 .spec.ipFamilyPolicy
字段为以下值之一:
SingleStack
:单栈服务。控制面使用第一个配置的服务集群 IP 范围为服务分配集群 IP。PreferDualStack
:- 仅当集群启用了双栈时使用。为服务分配 IPv4 和 IPv6 集群 IP。
- 如果集群没有启用双堆栈,则此设置与
SingleStack
行为相同。
RequireDualStack
:从 IPv4 和 IPv6 的地址范围分配服务的.spec.ClusterIPs
- 从基于在
.spec.ipFamilies
数组中第一个元素的地址族的.spec.ClusterIPs
列表中选择.spec.ClusterIP
- 集群必须配置双栈网络
- 从基于在
如果你想要定义哪个 IP 族用于单栈或定义双栈 IP 族的顺序,可以通过设置服务上的可选字段 .spec.ipFamilies
来选择地址族。
说明:
.spec.ipFamilies
字段是不可变的,因为系统无法为已经存在的服务重新分配.spec.ClusterIP
。 如果你想改变.spec.ipFamilies
,则需要删除并重新创建服务。
你可以设置 .spec.ipFamily
为以下任何数组值:
["IPv4"]
["IPv6"]
["IPv4","IPv6"]
(双栈)["IPv6","IPv4"]
(双栈)
你所列出的第一个地址族用于原来的 .spec.ClusterIP
字段。
双栈服务配置场景
以下示例演示多种双栈服务配置场景下的行为。
-
此服务规约中没有显式设定
.spec.ipFamilyPolicy
。当你创建此服务时,Kubernetes 从所配置的第一个service-cluster-ip-range
种为服务分配一个集群IP,并设置.spec.ipFamilyPolicy
为SingleStack
。 (无选择算符的服务和 无头服务的行为方式 与此相同。)service/networking/dual-stack-default-svc.yaml
apiVersion: v1 kind: Service metadata: name: my-service labels: app: MyApp spec: selector: app: MyApp ports: - protocol: TCP port: 80
-
此服务规约显式地将
.spec.ipFamilyPolicy
设置为PreferDualStack
。 当你在双栈集群上创建此服务时,Kubernetes 会为该服务分配 IPv4 和 IPv6 地址。 控制平面更新服务的.spec
以记录 IP 地址分配。 字段.spec.ClusterIPs
是主要字段,包含两个分配的 IP 地址;.spec.ClusterIP
是次要字段, 其取值从.spec.ClusterIPs
计算而来。service/networking/dual-stack-preferred-svc.yaml
apiVersion: v1 kind: Service metadata: name: my-service labels: app: MyApp spec: ipFamilyPolicy: PreferDualStack selector: app: MyApp ports: - protocol: TCP port: 80
-
下面的服务规约显式地在
.spec.ipFamilies
中指定IPv6
和IPv4
,并 将.spec.ipFamilyPolicy
设定为PreferDualStack
。 当 Kubernetes 为.spec.ClusterIPs
分配一个 IPv6 和一个 IPv4 地址时,.spec.ClusterIP
被设置成 IPv6 地址,因为它是.spec.ClusterIPs
数组中的第一个元素, 覆盖其默认值。
apiVersion: v1
kind: Service
metadata:
name: my-service
labels:
app: MyApp
spec:
ipFamilyPolicy: PreferDualStack
ipFamilies:
- IPv6
- IPv4
selector:
app: MyApp
ports:
- protocol: TCP
port: 80
下面示例演示了在服务已经存在的集群上新启用双栈时的默认行为。
-
在集群上启用双栈时,控制面会将现有服务(无论是
IPv4
还是IPv6
)配置.spec.ipFamilyPolicy
设置为SingleStack
并设置.spec.ipFamilies
为服务的当前地址族。service/networking/dual-stack-default-svc.yaml
apiVersion: v1 kind: Service metadata: name: my-service labels: app: MyApp spec: selector: app: MyApp ports: - protocol: TCP port: 80
你可以通过使用 kubectl 检查现有服务来验证此行为。
kubectl get svc my-service -o yaml
apiVersion: v1 kind: Service metadata: labels: app: MyApp name: my-service spec: clusterIP: 10.0.197.123 clusterIPs: - 10.0.197.123 ipFamilies: - IPv4 ipFamilyPolicy: SingleStack ports: - port: 80 protocol: TCP targetPort: 80 selector: app: MyApp type: ClusterIP status: loadBalancer: {}
-
在集群上启用双栈时,带有选择算符的现有 无头服务 由控制面设置
.spec.ipFamilyPolicy
为SingleStack
并设置.spec.ipFamilies
为第一个服务群集 IP 范围的地址族(通过配置 kube-controller-manager 的--service-cluster-ip-range
参数),即使.spec.ClusterIP
的设置值为None
也如此。service/networking/dual-stack-default-svc.yaml
apiVersion: v1 kind: Service metadata: name: my-service labels: app: MyApp spec: selector: app: MyApp ports: - protocol: TCP port: 80
你可以通过使用 kubectl 检查带有选择算符的现有无头服务来验证此行为。
kubectl get svc my-service -o yaml
apiVersion: v1 kind: Service metadata: labels: app: MyApp name: my-service spec: clusterIP: None clusterIPs: - None ipFamilies: - IPv4 ipFamilyPolicy: SingleStack ports: - port: 80 protocol: TCP targetPort: 80 selector: app: MyApp
服务可以从单栈更改为双栈,也可以从双栈更改为单栈。
-
要将服务从单栈更改为双栈,根据需要将
.spec.ipFamilyPolicy
从SingleStack
改为PreferDualStack
或RequireDualStack
。 当你将此服务从单栈更改为双栈时,Kubernetes 将分配缺失的地址族,以便现在该服务具有 IPv4 和 IPv6 地址。 编辑服务规约将.spec.ipFamilyPolicy
从SingleStack
改为PreferDualStack
。之前:
spec: ipFamilyPolicy: SingleStack
之后:
spec: ipFamilyPolicy: PreferDualStack
-
要将服务从双栈更改为单栈,请将
.spec.ipFamilyPolicy
从PreferDualStack
或RequireDualStack
改为SingleStack
。 当你将此服务从双栈更改为单栈时,Kubernetes 只保留.spec.ClusterIPs
数组中的第一个元素,并设置.spec.ClusterIP
为那个 IP 地址, 并设置.spec.ipFamilies
为.spec.ClusterIPs
地址族。
无选择算符的无头服务
对于不带选择算符的无头服务, 若没有显式设置 .spec.ipFamilyPolicy
,则 .spec.ipFamilyPolicy
字段默认设置为 RequireDualStack
。
LoadBalancer 类型
要为你的服务提供双栈负载均衡器:
- 将
.spec.type
字段设置为LoadBalancer
- 将
.spec.ipFamilyPolicy
字段设置为PreferDualStack
或者RequireDualStack
说明: 为了使用双栈的负载均衡器类型服务,你的云驱动必须支持 IPv4 和 IPv6 的负载均衡器。
出站流量
如果你要启用出口流量,以便使用非公开路由 IPv6 地址的 Pod 到达集群外地址(例如公网),则需要通过透明代理或 IP 伪装等机制使 Pod 使用公共路由的 IPv6 地址。 ip-masq-agent项目支持在双栈集群上进行 IP 伪装。
说明: 确认你的 CNI 驱动支持 IPv6。