直击GDC 2024 （一）：网易智企首次揭秘篮球游戏AI智能体|附全演讲技术干货内容！

“Game AI agents not only make the characters move,but also give them souls and stories.”

——网易智企游戏行业部 CTO 陶建容

近几日，世界级游戏开发者盛会 GDC（Game Developers Conference）2024 正在美国举行。全球游戏行业的精英都汇聚于旧金山，共同探索前沿的游戏开发技术、洞察行业最新趋势，并互相交流对未来发展的深刻见解。

（图示：Linkedin，Bandai 全球 CTO：Julien）

在 GDC 大会的机器学习峰会上，网易智企游戏行业部 CTO 陶建容带来精彩分享——《为“街球全明星”训练高拟人和高强度的篮球 AI 智能体》，这也是他第三次在 GDC 发表演讲，本次分享他首次公开展示了网易智企与上海瑞酷数码科技合作开发的篮球 AI 智能体，详尽地阐述了该智能体从设计、训练到实际部署的完整过程，并向全球游戏开发者展示了如何将游戏 AI 技术成功应用于实际场景。

（图示：网易智企游戏行业部 CTO 陶建容）

感兴趣的朋友可以私信我或增加v：LTT936，查看游戏AI智能体解决方案详情！

本次演讲过程非常顺利，也获得 ML summit 两位负责人的高度评价。演讲现场气氛活跃，众多听众积极参与，提出了一系列关于技术和应用方面的问题，陶建容也耐心地一一解答。他表示特别感谢项目组的每一位成员，以及网易智企的合作伙伴 RaccoonDigi，他们给予的极大支持是这次成功不可或缺的一部分！

 【陶建容】人物简介

网易智企游戏行业部 CTO，浙江大学计算机博士、高级工程师，浙江大学校外导师、香港中文大学（深圳）校外导师。负责网易智企游戏部技术研发和游戏 AI 商业化工作，面向游戏行业推出涵盖研发、美术、测试、运营等全链路的人工智能解决方案（游戏竞技机器人、游戏外挂防控、游戏智能匹配推荐、游戏智能 NPC、游戏虚拟形象、游戏美术工具等），致力于用人工智能技术赋能游戏行业降本增效，全面释放创作者的生产力，革新玩家游戏体验，申请 40 多项发明专利和 10 多项软件著作。在数据挖掘、人工智能、游戏等领域发表近 50 篇论文（ KDD、AAAI、WWW、IJCAI、ACM MM、TKDE 等），获得 Ubicomp2016、CoG2020、SMDS2020 最佳论文奖，担任 ACM 信息与知识管理会议、ACM 数据挖掘与知识发现会议、IEEE 数据挖掘会议等程序委员会委员，担任 ACM 杭州分会执行委员会委员。相关研究成果在游戏行业多款游戏中投入应用（《逆水寒》、《倩女幽魂》、《天谕》、《永劫无间》、《魔兽世界》、《CS:GO》、《梦三国2》、《灌篮高手》等）。

满满干货，小智整理了演讲内容，希望为大家带来了一场知识盛宴~

01

为什么要在街球全明星中

加入 AI 智能体？

《街球全明星》以其 3V3 实时竞技的核心玩法和公平竞技环境，为玩家带来了充满美式街头风格的篮球体验。游戏中提供了五大职业和众多独具特色的球员角色，每位球员都有自己个性化的专属技能。通过引入游戏 AI 智能体，其凭借极致微操、激烈竞技氛围迅速赢得了大量玩家的青睐。“真是一场酣畅淋漓的对决！”，这是多数玩家给予这款游戏的评价。

那么，我们来谈谈 AI 智能体究竟有何魔力？

首先，AI 智能体会通过展示高级技能和精彩配合让新手玩家不断学习并提高技术；其次，AI 智能体会变身为强大的队友或对手，为玩家游戏体验增加丰富度和对抗性；第三，还可以为游戏定制不同难度级别的 AI 智能体，来确保玩家体验及公平竞争；第四，通过引入 AI 智能体可以缩短匹配时间以优化非高峰时段的游戏体验；第五，利用AI 智能体能够奖励连续失败的玩家一场酣畅淋漓的获胜局，来提高玩家留存率。

（图示：GDC 机器学习峰会，网易智企演讲现场）

这些强大的能力不仅仅让玩家获得了更个性化的游戏体验，还在游戏运营中发挥着关键作用，我们可以看一组真实数据：一些游戏在引入我们的 AI 智能体后，玩家的平均每日在线时间提高了 2.5%，平均匹配时间减少了 8%，比赛场次增加了 318%，比赛焦灼度提高了 33%，玩家 7 日留存率提高了 5%，日 PVE 场次提高 387%。以上数据证明了 AI 智能体极大提升了玩家的游戏体验和游戏的整体表现。

接下来，将向大家展示 AI 智能体从技术角度是如何实现的，小智将分别从设计、训练和部署这三大方面进行详细解析：

02

如何对 AI 智能体进行设计？

现阶段，游戏 AI 智能体的主流实现方式有四种：有限状态机、行为树、强化学习、模仿学习。经我们在多个维度反复对比利弊，最终得出结论：行为克隆是 AI 智能体最优的实现方式，因为可以低成本训练出具备一定强度且高度拟人的行为，并且不需要过多的游戏经验以及复杂的游戏环境。

行为克隆技术让 AI 智能体从人类的专家演示数据中学习，并进行模仿。所以，我们给 AI 提供哪些专家演示数据（Expert Demonstration）至关重要，它可以塑造 AI 的行为和决策，从而使 AI 很快成为一个顶尖的玩家。

在专家演示数据构建过程中，我们面临着三个主要挑战：

• 状态和动作设计；

• 数据收集、验证和清洗；

• 位置、阶段、动作不平衡。

1、状态、动作设计

在一场篮球比赛中，有非常丰富的状态信息。为了让 AI 智能体能够在游戏中更好地进行决策，我们构建了一套高度复杂且全面的状态系统。这套系统包括了 4 维的游戏环境状态、28 维的篮球状态，以及 6 个球员的个性化状态，且每个状态进一步细分为 73 个维度，确保覆盖游戏每一层面。

此外，我们还增加了两个新的观测信息：历史状态和场地状态。历史状态捕捉过去 1 秒内球和球员的轨迹，区分球、持球球员、队友、对手和对位对手。场地状态代表篮球场的状态，将其划分为 28 乘 30 的矩阵，跟踪每个网格内球、主球员、队友和对手的位置。历史状态增强了我们对过去状态的感知，而场地状态增强了我们对全局空间状态的理解。

在动作设计方面，《街球全明星》精心打造了 AI 智能体的移动机制，确保其能在场上灵活自如地朝 16 个不同方向移动。此外，玩家可以通过按下 3 个不同的按键来执行多样化的动作，增加了游戏的互动性和策略性。为了增强社交体验，游戏还允许玩家发送表情和短语，以此在紧张刺激的比赛中表达情感和态度，让每一次对决都更加生动有趣！

根据篮球比赛中四个不同的阶段：持球进攻、无球进攻、防守和双方无球进行动作区分，不同的球员在不同的阶段有不同的按键选择。例如，在持球进攻时，内线球员按“ 3 ”号键是靠打动作，而外线球员按“ 3 ”号键是突破。

按键动作包括按下、保持和释放，我们只关注按键是否被按下的状态。按键动作是根据玩家的动画状态推导出来的。例如，如果一个球员的动画状态是盖帽，那么他在防守阶段就按下了 “ 1 ”号按键。

而移动方向是通过计算球员在连续两帧中的位置坐标来确定的。除了移动有方向，按键也可以有方向，形成一些组合技能。例如，向左或向右方向的投篮是后仰跳投，向后方向的突破是后撤步。构建动作非常复杂，都是从状态推导出来的。

（图示：GDC 机器学习峰会，网易智企演讲现场）

2、数据收集、验证和清洗

训练 AI 机器人，需要收集大量的数据，这些数据包括专家的行为动作和对应的状态信息。然而，数据的收集并不是一件容易的事情，需要耗费大量的时间和精力。为此我们使用了 30 台 PC 机，每台机器同时运行 8 个游戏客户端，收集了超过 100 万场比赛的数据，解析出的 proto 数据被存储在对象存储系统中，整个过程耗时 2 周完成。

同时，还需要对收集到的数据进行验证和清洗，以确保数据的准确性和可靠性。我们开发了一个篮球游戏渲染器，它将回放视频与渲染视频进行比较，以确保我们构建的状态和动作数据的一致性。

在清洗方面：

• 低段位数据的清洗，删除铂金段位以下的数据

• 挂机数据的清洗，删除所有玩家挂机相关的数据

• 表现不好的数据清洗，删除所有表现分低于 4 的数据

• 移动数据的清洗，删除所有前后相邻帧移动方向没有发生改变的数

• 数据归一化

3、位置、阶段、动作不平衡

在篮球比赛中，我们需要确保 AI 能够在各个位置上做出正确的决策，避免过于倾向于某些位置或动作，从而影响其表现。我们通过优化数据、算法和模型来解决位置、阶段和动作不平衡的问题。

首先，是位置不平衡问题。以下是 5 名球员在进攻、防守和投篮时的热力图，不难看出，在热力图密度较低的区域，AI 的学习可能不足，这让他很难做出正确决策。为了解决这个问题，我们对球场进行了分割，并对不同球员应用了不同的分割方法，对低密度区域进行了上采样。

其次，是阶段不平衡。通过对 5 名球员在比赛的 4 个不同阶段的表现数据进行细致分析，发现防守阶段的数据量显著高于其他阶段。为了解决这一数据不平衡问题，对防守阶段以外的样本采取了上采样技术，以匹配防守样本的数量。这一策略确保了AI 模型能够全面学习到各个比赛阶段的策略，从而在实际应用中做出更加精准的决策。

最后，对于动作不平衡问题。陶建容称通过观察 5 名球员在 4 个不同阶段的动作分布，发现大多数动作是“移动”和“静止”。如果不进行干预，AI 将主要进行移动或保持静止。针对该问题，我们对“移动”和“静止”进行了下采样，以消除动作标签不平衡的问题。

通过以上方法，我们成功地实现了 AI 智能体在游戏中不同位置、不同阶段和动作之间保持相对平衡，这不仅提升了 AI 的游戏表现，还增强了其适应多变游戏环境的能力，确保了更加真实和富有挑战性的游戏体验！

感兴趣的朋友可以戳我查看游戏AI智能体解决方案详情！

这次分享就先到这里啦，路过不要忘记点赞收藏~~

————

下期文章，精彩内容：

1. 训练出拟人化和高强度的 AI 智能体
2. AI 智能体的部署、测试和投放

点赞关注，获取更多最新、最干货的大会内容~