Hago 的 Spark on ACK 实践

Hago 于 2018 年 4 月上线，是欢聚集团旗下的一款多人互动社交明星产品。Hago 融合优质的匹配能力和多样化的垂类场景，提供互动游戏、多人语音、视频直播、 3D 虚拟形象互动等多种社交玩法，致力于为用户打造高效、多样、最具沉浸式的社交娱乐体验，在东南亚、中东和南美等地区拥有广泛的用户群。

在技术层面，Hago 提供优秀的自研音视频技术，实现更加稳定、高效和优质的数字人服务。包括 3D 超写实模型、真人主播模型制作，虚拟人语音、表情驱动，自然声音的文字转语音（TTS），成熟的虚拟直播能力。

长期以来，Hago 都是在 IDC 里运行大数据任务，以支撑上面的许多产品，从 2022 年开始，Hago 开始将大数据业务迁移上云，并以 Spark on ACK 的形式来运行，本文主要针对迁移过程进行介绍。

IDC 中遇到的问题

起初，Hago 的 Spark 任务都是跑在 IDC 里的 Hadoop 集群里，当时主要面临几个问题：

• 资源限制问题：当资源不足时，导致任务堆积、排队
• 扩容的时效性：集群扩容逻辑比较复杂，特别是节假日有活动时，往往要提前一周准备扩容
• 资源利用率问题：Spark 任务有明显的波峰波谷，波谷