腾讯云TKE-基于 Cilium 统一混合云容器网络（上）

作者

魏后民，腾讯云后台开发工程师，关注容器、Kubernetes、Cilium等开源社区，负责腾讯云 TKE 混合云容器网络等相关工作。

赵奇圆，腾讯云高级工程师，主要负责腾讯云容器网络设计和研发工作。

前言

混合云 并不是一个新鲜的概念，但随着容器技术的发展，混合云与容器的结合正在得到越来越多的关注。通过容器等云原生技术，可以屏蔽混合云异构集群底层计算资源基础设施的差异，实现多云场景、IDC 场景乃至边缘等场景的统一。混合云将不再是公有云和私有云的简单结合，而是计算负载无处不在的分布式云，可以充分发挥其在资源扩容、多活容灾、多集群混合部署等场景的优势。

腾讯云 TKE 容器服务推出公有云集群添加第三方 IDC 计算节点服务，该服务可以让客户复用 IDC 计算资源，免去在本地搭建、运维 Kubernetes 集群的成本，最大化提高计算资源使用率。

在这个方案的底层实现中，打通 IDC 和公有云之间的网络是重要的一环。一个 Kubernetes 集群中可能包含众多不同网络环境的计算节点，比如 IDC 网络环境和公有云 VPC 网络环境的计算节点。为了屏蔽底层不同网络环境的差异，TKE 提出了混合云容器网络方案，在容器层面看到的是统一的网络平面，使得 Pod 无需感知其是运行在 IDC 的计算节点还是公有云的计算节点。

TKE 混合云容器网络同时支持基于 VxLAN 隧道模式的 Overlay 网络和基于直接路由的 Underlay 网络。当客户不希望改变其 IDC 基础网络设施时，可以使用 Overlay 网络；当客户对于混合云容器网络的性能有很高的要求时，可以使用基于直接路由的 Underlay 网络。本文将详述混合云中容器网络面临的挑战与解决方案，并介绍 TKE 混合云容器 Overlay 网络的实现。接下来还会有文章单独介绍 TKE 混合云容器 Underlay 网络的实现，敬请期待。

混合云容器网络面临的挑战

在混合云场景下，一个 Kubernetes 集群的各个组件可能分布在不同的网络平面：

• Master Network：运行着 ApiServer 等控制面组件的网络平面
• VPC Network：包含有 TKE 公有云集群计算节点的网络平面
• IDC Network：包含有客户 IDC 计算节点的网络平面

混合云复杂的场景下，如何打通不同网络平面的链路，对容器网络设计提出了挑战：

VPC Network 和 IDC Network 互相访问

混合云场景下，一个 Kubernetes 集群可能既包含 VPC Network 下的公有云计算节点，也包含 IDC Network 下的计算节点。打通这些处于不同网络环境下的节点网络，是上层容器网络互通的基础。

IDC Network 主动访问 Master Network

Kubernetes 环境下最常见的一个场景是计算节点的 Kubelet 会连接处于 Master