UCloud物理云网关百G级集群设计实践

物理云主机是UCloud提供的专用物理服务器，具备出色的计算性能，满足核心应用场景对高性能及稳定性的需求，也能和其它产品灵活搭配。物理云网关用于承载物理云和公有云各产品间的内网通信，由于用户有多地部署的必要，网关集群面临跨地域跨集群的流量压力。

我们用多隧道流量打散等手段解决了Hash极化造成的流量过载问题，并通过容量管理和隔离区无损迁移限制大象流。新方案上线后，集群从承载几十G升级为可承载上百G流量，帮助达达等用户平稳度过双十一的流量高峰。以下是实践经验分享。一

一、流量过载的物理云

为了保证云上业务的高可用性，用户通常会将业务部署在不同地域。此时用户的物理云便需要通过物理云网关相互访问，不可避免地，物理云网关会承载大量物理云主机的跨集群访问流量。

与此同时，为了保证不同用户之间网络流量的隔离和机房内部的任意互访，物理云网关会对用户报文封装隧道，然后发送至接收方。

1、问题出现：Hash极化与过载的物理云

如下图，我们发现物理云集群2中网关设备e的带宽过载，影响了访问集群2的所有业务。通过监控进一步查看到，集群2的流量分布很不均匀，集群中部分设备带宽被打爆，但是剩余的设备流量却很小。通过抓包分析，网关设备e的流量几乎全部来自于物理云集群1。

图：跨集群访问时封装隧道示意

结合业务分析，确定物理云过载的原因在于：物理云集群1和集群2之间的互访流量出现了Hash极化，导致流量分布不均。

那什么是Hash极化呢？

由于集群之间使用单条隧道传输，隧道封装隐藏了用户的原始信息，例如IP、MAC等，对外只呈现隧道信息，同时隧道采用了唯一的SIP和DIP。那么Hash算法相同，算出的结果一致，导致流量无法做到很好的负载分担，便会使集群的单台设备负载突增，极端情况下就会出现被打爆的现象，进而影响该集群下的所有用户，这就是Hash极化，常出现于跨设备的多次Hash场景。

根据现状，我们分别尝试从以下两个角度解决该问题&#