作者:Tony Liu 译者:TF编译组
1 Kubernetes与TF的集成
集成方案中,在Kubernetes和Tungsten Fabric(编者按:原文为Contrail,其开源版已更名为Tungsten Fabric,本文出现Contrail之处均以Tungsten Fabric替换)之间有两个连接。
-
contrail-kube-manager和kube-api-server
-
Contrail CNI
1.1 contrail-kube-manager
此服务连接到kube-api-server以接收更新。然后,它会连接到Tungsten Fabric配置API服务器,来创建必要的配置(VM,VMI /端口,IP等),以将容器连接到overlay层。它还会将更新发送到kube-api-server。
1.2 Contrail CNI
每个node/minion上的Kubelet都使用CNI参数运行。启动容器时,kubelet调用CNI来建立网络。Contrail CNI连接到vRouter代理REST API:
1)获得必要的配置
2)将容器网络接口插入vRouter
1.3 Gateway
Tungsten Fabric使用gateway连接overlay和underlay网络,以提供外部访问。我们需要使用gateway来支持Kubernetes的暴露服务和ingress功能。
必须在Tungsten Fabric中创建一个浮动IP池。
在/etc/contrailctl/kubemanager.conf中配置这个FIP池的FQ名称,以进行配置(provisioning)。
[KUBERNETES_VNC]public_fip_pool = {'domain': 'default-domain', 'project': 'default', 'network': 'public', 'name': 'public-fip-pool'}
在容器condir-kube-manager中,浮动IP池在/etc/contrail/contrail-kubernetes.conf中进行配置。
[VNC]public_fip_pool = {'domain': 'default-domain', 'project': 'default', 'network': 'public', 'name': 'public-fip-pool'}
在Kubernetes中公开service或创建ingress时,将从该池中分配一个FIP作为外部IP。
2 Namespace
与Tungsten Fabric集成时,Kubernetes命名空间(namespace)可以映射到项目/租户(project/tenant)或虚拟网络。
2.1 单租户(Single-tenant)
如果有设置/etc/contrail/contrail-kubernetes.conf中的[KUBERNETES].cluster_project,它是单租户(single-tenant),Kubernetes命名空间将映射到Tungsten Fabric中的虚拟网络。所有非隔离命名空间都映射到默认虚拟网络“cluster-network”。而每个隔离命名空间都映射到一个单独的虚拟网络“-vn”。
这里有一个示例,说明在/etc/contrailctl/kubemanager.conf中设置[KUBERNETES].cluster_project以启用单租户的情形。
[KUBERNETES]cluster_project = {'domain': 'default-domain', 'project': 'kubernetes'}
以下是由Condir-kube-manager在初始化期间创建的。
-
Flat IPAM <cluster_project>:具有子网的pod-ipam
-
IPAM <cluster_project>:service-ipam
-
虚拟网络“cluster-network”的安全组k8s-default-default-default和k8s-default-default-sg
-
虚拟网络<cluster_project>:具有pod-ipam和service-ipam的cluster-network
(参见附录A.1)
2.1.1 非隔离的命名空间
创建一个非隔离的命名空间。
apiVersion: v1kind: Namespacemetadata: name: "dev-unisolated"
当Kubernetes创建一个非隔离命名空间时,Tungsten Fabric将创建两个SG,即k8s-default--sg和k8s-default--sg。这里不创建虚拟网络。所有非隔离的NS中的容器都将位于cluster-network上。
在非隔离命名空间中启动一个Pod。
apiVersion: v1kind: Podmetadata: name: nginx-1spec: containers: - name: nginx image: docker.io/nginx imagePullPolicy: IfNotPresentkubectl create -f nginx-1.yaml -n <namespace>kubectl get pods -n <namespace>
在非隔离命名空间中启动Pod时,Tungsten Fabric(contrail-kube-manager)将执行以下操作。
不同非隔离命名空间中的Pod可以相互连接,因为它们位于Tungsten Fabric中的同一虚拟网络上。
2.1.2 隔离的命名空间
创建一个隔离的命名空间。
apiVersion: v1kind: Namespacemetadata: name: "dev-isolated" annotations: { "opencontrail.org/isolation" : "true" }
在Kubernetes中创建隔离命名空间时,Tungsten Fabric将创建以下内容。
- 虚拟网络<cluster_project>:-vn
- 安全组k8s-default--default和k8s-default--sg
在隔离命名空间中启动Pod时,Tungsten Fabric将执行以下操作。
由于端口位于不同的虚拟网络上,因此不同的隔离命名空间中的Pods无法相互连接。
2.2 多租户(Multi-tenant)
如果未设置/etc/contrail/contrail-kubernetes.conf中的[KUBERNETES].cluster_project,它就是多租户,Kubernetes命名空间将映射到Tungsten Fabric中的租户/项目(tenant/project)。非隔离命名空间中的Pod在默认虚拟网络“cluster-network”上启动。而每个隔离命名空间都映射到一个单独的虚拟网络“-vn”。
在初始化时,contrail-kube-manager创建以下内容:
- 为每个现有的Kubenetes命名空间(如default、kube-public和kube-system)提供一个项目/租户。
- Flat IPAM 默认域:default:pod-ipam
- IPAM 默认域:default:service-ipam
- 每一个命名空间的安全组:k8s-default--sg和k8s-default--sg
- 虚拟网络默认域名:具有pod-ipam的default:cluster-network和service-ipam
2.2.1 非隔离的命名空间
创建一个非隔离的命名空间。
apiVersion: v1kind: Namespacemetadata: name: "dev-unisolated"
Contrail-kube-manager将创建以下内容。
当在非隔离命名空间中启动Pod时,conventil-kube-manager将创建端口:
不同非隔离命名空间中的Pod可以相互连接,因为它们位于Tungsten Fabric中的同一虚拟网络上。
2.2.2 隔离的命名空间
创建一个隔离的命名空间。
apiVersion: v1kind: Namespacemetadata: name: "dev-isolated" annotations: { "opencontrail.org/isolation" : "true" }
Contrail-cube-manager将创建以下内容。
- 项目缺省域:
- 虚拟网络default-domain::-vn与default-domain:default:pod-ipam关联。
- 安全组default-domain::k8s-default--default和default-domain::k8s-default--sg
当在非隔离命名空间中启动Pod时,conventil-kube-manager将创建端口。
- 在项目default-domain:中
- 在虚拟网络default-domain::-vn上
- 从IPAM default-domain:default:pod-ipam获取地址
- 附带安全组default-domain::k8s-default--default和default-domain::k8s-default--sg
由于端口位于不同的虚拟网络上,因此不同的隔离命名空间中的Pods无法相互连接。
2.3 自定义命名空间
创建一个自定义命名空间。
apiVersion: v1kind: Namespacemetadata: name: "dev-customized" annotations: { "opencontrail.org/network": '{"domain": "default-domain", "project": "demo", "name": "red"}' }
在自定义命名空间中启动Pod时,contrail-kube-manager将创建端口。
- 在项目default-domain:default中
- 在虚拟网络上映射到自定义命名空间
- 从与该虚拟网络关联的IPAM上获取地址
- 安全组?
2.4指定虚拟网络上的Pod
在指定的虚拟网络上启动Pod。
当在指定的虚拟网络上启动Pod时,conutil-kube-manager将创建端口。
- 在项目中映射到指定或默认的命名空间
- 在指定的虚拟网络上
- 从与特定虚拟网络关联的IPAM上获取地址
- 安全组?
2.5 Kubernetes网络策略
Kubernetes网络策略将照常运行,它由Tungsten Fabric中的安全组实现。该版本将与4.0.1一起发布。
2.6 POD SNAT
Tungsten Fabric支持该功能,可以在Tungsten Fabric中配置一个路由器(配置对象),使其成为启动容器的虚拟网络的外部网关。这与支持OpenStack的外部网关是一样的。
3 Service
Kubernetes service支持ClusterIP,NodePort,LoadBalancer和ExternalName。它还支持使用ExternalIP指定IP。Tungsten Fabric支持ClusterIP和LoadBalancer,以及ExternalIP。
在Kubernetes中创建service时,Tungsten Fabric中会创建一个负载均衡器(loadbalancer)。负载均衡器的提供者为“native”,而ECMP负载均衡由vRouter实现。浮动IP被创建为VIP。
创建具有多个实例的应用程序。
apiVersion: v1kind: ReplicationControllermetadata: name: web-qaspec: replicas: 2 selector: app: web-qa template: metadata: name: web-qa labels: app: web-qa spec: containers: - name: web image: docker.io/nginx imagePullPolicy: IfNotPresent
3.1 ClusterIP
在这些应用程序前面创建service。默认的service类型是ClusterIP。
kind: ServiceapiVersion: v1metadata: name: web-qaspec: selector: app: web-qa ports: - protocol: TCP port: 80 targetPort: 80
当service被创建后,conventil-kube-manager将执行以下操作。
当LB被创建后,“原生”LB驱动程序将执行以下操作。
- 在FIP中设置端口映射。
- 将所有成员的VMI添加到FIP。
当service类型为ClusterIP时,只能在集群内访问该service。FIP从集群网络(cluster-network)中的service FIP池中分配,并映射到所有的Pod地址。当访问集群内的service地址时,vRouter将在Pod之间平衡流量。
3.2 Loadbalancer
创建一个LoadBalancer类型的service。
kind: ServiceapiVersion: v1metadata: name: web-qaspec: selector: app: web-qa ports: - protocol: TCP port: 80 targetPort: 80 type: LoadBalancer
对于服务类型LoadBalancer,服务被暴露于外部。从服务FIP池中分配FIP,用于集群内的访问,同时从公共FIP池中分配FIP,映射到所有POD地址。该FIP将被通告给网关,网关将在POD之间进行ECMP负载均衡。
附录A 单租户(Single-tenant)
A.1 IPAM
<cluster_project>:pod-ipam
{ "fq_name": [ "default-domain", "kubernetes", "pod-ipam" ], "uuid": "c9641741-c785-456e-845b-a14a253c3572", "ipam_subnet_method": "flat-subnet", "parent_type": "project", "perms2": { "owner": "None", "owner_access": 7, "global_access": 0, "share": [] }, "ipam_subnets": { "subnets": [ { "subnet": { "ip_prefix": "10.32.0.0", "ip_prefix_len": 12 }, "dns_server_address": "10.47.255.253", "enable_dhcp": true, "created": null, "default_gateway": "10.47.255.254", "dns_nameservers": [], "dhcp_option_list": null, "subnet_uuid": null, "alloc_unit": 1, "last_modified": null, "host_routes": null, "addr_from_start": null, "subnet_name": null, "allocation_pools": [] } ] }, "id_perms": { "enable": true, "description": null, "creator": null, "created": "2017-12-27T18:45:33.957901", "uuid": { "uuid_mslong": 14511749470582293870, "uuid_lslong": 9537393975711511922 }, "user_visible": true, "last_modified": "2017-12-27T18:45:33.957901", "permissions": { "owner": "cloud-admin", "owner_access": 7, "other_access": 7, "group": "cloud-admin-group", "group_access": 7 } }, "display_name": "pod-ipam"}
<cluster_project>:service-ipam
{ "fq_name": [ "default-domain", "kubernetes", "service-ipam" ], "uuid": "526f554a-0bf4-47c6-a8e4-768a3f98cef4", "parent_type": "project", "perms2": { "owner": "None", "owner_access": 7, "global_access": 0, "share": [] }, "id_perms": { "enable": true, "description": null, "creator": null, "created": "2017-12-27T18:45:34.000690", "uuid": { "uuid_mslong": 5940060210041472966, "uuid_lslong": 12169982429206466292 }, "user_visible": true, "last_modified": "2017-12-27T18:45:34.000690", "permissions": { "owner": "cloud-admin", "owner_access": 7, "other_access": 7, "group": "cloud-admin-group", "group_access": 7 } }, "display_name": "service-ipam"}
A.2 安全组
k8s-default-dev-share-default
{ "fq_name": [ "default-domain", "kubernetes", "k8s-default-dev-share-default" ], "uuid": "ad29de07-5ef6-4f55-86bb-52c44827c09d", "parent_type": "project", "perms2": { "owner": "46c31b9b-d21c-4c27-9445-6c94db948b6d", "owner_access": 7, "global_access": 0, "share": [] }, "security_group_id": 8000010, "id_perms": { "enable": true, "description": "Default security group", "creator": null, "created": "2018-01-12T09:02:15.110429", "uuid": { "uuid_mslong": 12477748365846007637, "uuid_lslong": 9708444424704868509 }, "user_visible": true, "last_modified": "2018-01-12T15:45:08.899388", "permissions": { "owner": "cloud-admin", "owner_access": 7, "other_access": 7, "group": "cloud-admin-group", "group_access": 7 } }, "security_group_entries": { "policy_rule": [ { "direction": ">", "protocol": "any", "dst_addresses": [