亚马逊云科技：如何利用强化学习助力游戏开发

关键字: [出海日城市巡展, 强化学习, 游戏质量, 智能体, 环境模拟, 算法支持]

本文字数: 1400, 阅读完需: 7 分钟

导读

孙彪先生在”游戏行业论坛”上介绍了如何利用强化学习提高游戏开发质量。他解释了强化学习的概念和在游戏中的应用场景,如陪玩、自动化测试、智能助手和虚拟角色行为等。他还介绍了亚马逊云科技的解决方案,将Unity游戏引擎与强化学习框架相结合,在云端进行分布式训练,以满足算力需求、弹性扩缩容和实时决策等要求,从而提高游戏质量和玩家体验。

演讲精华

以下是小编为您整理的本次演讲的精华，共1100字，阅读时间大约是6分钟。

在游戏行业中,强化学习虽然听起来有些陈旧,但它对于提高游戏质量具有重要作用。回顾2016年和2019年,人工智能在围棋、星际争霸和Dota等游戏中战胜了人类世界冠军,展现了强化学习的卓越能力,证明了人工智能的智力水平可以超越人类。

强化学习在游戏开发中有诸多应用场景。首先,它可以提供不同水平的AI对手,让玩家在休闲后与之对战,测试自己的实力,增强游戏的可玩性。其次,强化学习可以替代真人陪玩,用AI代替真人陪玩,从而提高玩家的体验感。例如,有一位客户开发了一款钓鱼游戏,需要大量真人来陪欧美付费玩家玩,并确保付费玩家获胜。一开始他们尝试使用游戏脚本,但很快玩家就丧失了兴趣,因为脚本的随机性太低。如果使用强化学习训练的AI,它会采用自己的策略与玩家对决,从而大幅提升玩家的体验感。

第三个应用场景是自动化测试。开发者可以利用现有的关卡训练AI,然后让AI在新关卡中运行,发现潜在的漏洞和bug。实际上,有一位开发者在训练俄罗斯方块游戏的AI时,由于奖惩机制的设计问题,AI采取了一些”作弊”的行为,导致游戏块无法落下,从而暴露了游戏逻辑中的bug。这种情况说明,游戏设计者的初衷可能与玩家的实际行为不符,而强化学习AI能够发现这些隐藏的漏洞,帮助改进游戏质量。

第四个应用场景是智能助手。在一些需要快速决策的游戏中,强化学习可以提供策略建议,辅助新手玩家或老手在紧张时刻作出正确选择,提升整体游戏体验。最后,强化学习还可以优化虚拟角色的行为。例如,根据玩家的历史行为,AI的反应会有所不同,让每个玩家获得独一无二的游戏体验。网易的游戏《逆水寒》就采用了这种技术,玩家认为网易给每个人提供了不同的NPC体验,就像400个真人策划在后台陪伴一样,获得了玩家的一致好评。

强化学习的核心概念包括智能体(Agent)、环境(Environment)、状态(State)、行为(Action)和奖惩(Reward)。智能体指被训练的AI,环境则是游戏的整体逻辑。AI通过执行行为改变游戏状态,环境会根据状态变化给予AI奖励或惩罚,指导它优化行为策略。另一个重要概念是探索奖励(Curiosity),它鼓励AI尝试新的策略,发现超越人类认知的解决方案,这也是强化学习能战胜人类的关键所在。

为了支持强化学习,Unity推出了ML-Agents工具集。它支持单智能体、多智能体、自我对抗等多种训练模式,并提供了两种基本算法。然而,Unity在算法种类和更新频率方面存在不足,且不支持分布式训练,只能在单机上进行。

这时,Ray分布式训练框架应运而生,它弥补了Unity在算法和分布式训练方面的缺陷。Ray不仅支持算法超参数调优(Tune),加速训练过程,而且能够在多台机器上并行训练模型,满足了强化学习对算力的巨大需求。Ray的Reinforcement Learning库(RLlib)提供了一系列强化学习算法,可用于训练各种任务,比如著名的”倒立摆”游戏就是RLlib的Hello World示例。

尽管结合Unity和Ray看似是一个完美的解决方案,但在实际应用中仍存在一些挑战。首先是算力需求的问题,训练过程中需要大量机器资源,而企业是否能够持续提供足够的算力仍是个疑问。其次是分布式加速的难题,需要运维人员具备相关知识才能高效地搭建Ray集群。再者,如果将训练好的AI应用于实时对战游戏,是否有足够的机器资源支持AI的实时决策也是个问题。另外,对于大型3D游戏来说,仅环境模拟就需要大量GPU算力,成本可能会高得令人望而生却。最后,训练过程中会产生大量数据和模型,如何高效共享和存储也是一大挑战。例如,阿尔法狗在当年训练时使用了180天的时间,耗资数千万美元。

为了解决上述难题,亚马逊云科技(AWS)提出了在云端进行强化学习训练的完整解决方案。该方案基于亚马逊云科技托管的Kubernetes集群和SageMaker服务,能够根据需求弹性扩缩容算力资源,满足训练和部署的需求。具体流程是这样的:首先,开发者使用Unity导出游戏的构建文件,打包成镜像上传到亚马逊云科技的镜像库中。然后,该镜像被加载到Kubernetes集群中,利用Ray框架在云端进行分布式训练。在训练过程中,开发者可以通过亚马逊云科技的Notebook服务控制训练参数,所有模型和数据都存储在亚马逊云科技的弹性文件系统(EFS)中,实现高效共享。训练完成后,模型将发布到SageMaker上,以支持实时在线预测和弹性扩缩容。

总的来说,亚马逊云科技的解决方案从游戏引擎到算法封装,再到云端训练发布,构建了一条完整的强化学习训练线路,满足了算力需求、弹性扩缩容和高效共享的要求,为游戏开发者提供了先进的工具,助力提高游戏质量。

总结

游戏行业中强化学习的应用前景广阔,可用于陪玩、自动化测试、智能助手和虚拟角色行为等场景,有助于提高游戏质量和玩家体验。然而,游戏环境的复杂性给强化学习带来了挑战,需要将游戏逻辑与智能体进行良好的对接。Unity虽然支持强化学习,但算法支持有限且无法进行分布式训练。结合Ray框架可以解决这一问题,并利用云端算力进行高效训练和部署,满足算力需求、弹性扩缩容和实时决策等要求,为游戏开发提供全新的强化学习解决方案。

强化学习概念解析:智能体(agent)根据环境状态(state)采取行动(action),获得奖惩(reward),目标是最大化奖励。环境即游戏逻辑,状态是智能体可获知的信息,行动是可执行的操作。合理设计奖惩机制对游戏质量至关重要。

云上强化学习流程:将Unity游戏导出并打包为镜像,加载到亚马逊云科技的Kubernetes集群中进行训练,利用共享存储管理超参数和模型,最终将训练好的模型发布到Amazon SageMaker进行弹性部署。这一完整解决方案满足了游戏行业对强化学习的多重需求。