前言
在 腾讯云TKE - 基于 Cilium 统一混合云容器网络(上) 中,我们介绍 TKE 混合云的跨平面网络互通方案和 TKE 混合云 Overlay 网络方案。公有云 TKE 集群添加第三方 IDC 节点服务中,为了应对客户不同使用场景的需求(特别是对于网络性能损耗的低容忍度要求),TKE 混合云网络方案同时提出了基于 BGP 直接路由的 Underlay 网络方案。该网络模型采用 GoBGP 实现,基于 Cilium 打通了 Node-Pod 以及 Pod-Pod 之间网络,能够保证较高的网络性能,并且支持大规模集群扩展。
此网络方案在 TKE 公有云上线前,已经过 腾讯云专有云敏捷PaaS平台 TCNS 私有化环境的大规模实践,并在 腾讯云 TKEStack 中得到了集成和开源。本文将详细介绍 TKE 混合云基于 BGP 直接路由的 Underlay 容器网络方案的设计与实现。
背景介绍
客户需求的多样性,特别是对网络性能损耗的容忍程度决定了 Underlay 网络方案势在必行。为什么选择 BGP 协议呢? 相较于 OSPF、RIP 这些内部网关协议,BGP 着眼于控制路由的传播以及选择最佳路径。BGP 最大的优势在于具有较强的可扩展性,能够满足大规模集群横向扩展的需求。另一方面,BGP 足够简单稳定,并且业内也有着基于 BGP 落地生产环境的成功案例。
根据集群规模大小的不同,BGP 路由模式有着不同的方案。当集群规模较小时,可以使用 Full Mesh 互联模式,它要求同一个 AS 内的所有 BGP Speaker 全连接,并且所有外部路由信息必须重新分发到同一个 AS 的其他路由器。随着集群规模扩大,Full Mesh 模式效率将急剧降低,Route Reflection 模式是一种成熟的替代方案。RR 方案下允许一个 BGP Speaker (也即是 Route Reflector)向其他 BGP Peer 广播学习到的路由信息,大大减少了 BGP Peer 连接数量。
与已有方案相比,腾讯混合云采用基于 GoBGP 实现 Cilium 的 Underlay 方案&#x