引言
电影设计师
对于AIGC，大部分人已经看到了非常多令人惊叹的案例，甚至包括最近推出的MidJourney V5和Adobe的FirFly。在极具变革的当下，未来游戏行业将会发生怎样的变化，一篇a16z上的文章给出了一些启发。
以下翻译及整理自a16z上的文章《The Generative AI Revolution in Games》：
对于生成式AI（人工智能）在美术设计领域的应用，已经有了非常多成熟且亮眼的成果与流程方案，对于设计师来说，AI是一个获取灵感甚至直接得到脑中所想的最佳捷径。
早在2022年，Twitter设计师@emmanuel_2m就已经开始使用生成式AI模型Stable Diffusion + Dreambooth来完成了一系列有趣的游戏道具设计
这项工作的革命性不仅在于节省时间和金钱，同时能够保证质量，从而打破了经典的“成本、质量或速度只能选择两个”的三角定律。艺术家现在可以在几个小时内创建高质量的图像，而手动绘制这些图像则需要数周时间。
自实时三维技术诞生以来，还没有任何一项技术对游戏领域具有如此的革命性。那么这项技术将去往何方？它又将如何改变游戏呢？
什么是生成式人工智能？
首先，我们先来回顾下什么是生成式人工智能。
生成式人工智能是机器学习的一种类别，计算机可以根据用户的提示生成崭新内容。今天，文本和图像是此技术最成熟的应用领域，几乎每个创意领域中都有发挥之地，从动画到音效，再到音乐，我们甚至可以创建具有完整个性的虚拟角色。
当然，AI在游戏中不是什么新鲜事物。即使是早期的游戏，比如雅达利的《乒乓球》，也有计算机AI控制的对手来挑战玩家。然而，这些虚拟对手并不是像现在我们所知道的AI一样运行。它们只是由游戏设计师编写的脚本程序，无法自主学习，并且它们的水平取决于编写它们的程序员。
不同的是，现在由于更快的微处理器和云技术，可用的计算算力越来越多。借助这个能力，可以构建大型的神经网络，它们可以在高度复杂的领域中识别模式和定义。
AI在当下的游戏应用背景
1、通过回顾，可以看到总体人工智能研究的数量将继续增加，创造出越来越有效的技术。
下图为每月在arXiv档案中发表的有关机器学习或人工智能的学术论文数量变化图：
如上所示，论文数量呈指数增长，没有任何减缓的迹象。而这仅仅包括已发表的论文，还不包括那些未发表或直接进入开源模型或产品研发的例子。
2、在所有娱乐形式中，游戏将受到生成式AI造成的最大影响。
因为游戏是最复杂的娱乐形式，涉及的资产类型数量非常巨大（2D艺术、3D艺术、音效、音乐、文字等）。游戏也是最具互动性且十分注重实时体验的载体，这为新游戏开发者创造了一个陡峭的进入门槛和成本。但同时，这也为生成式人工智能的颠覆创造了巨大的机遇。
例如《荒野大镖客2》，作为有史以来制作成本最高的游戏之一，几乎耗费了5亿美元。它拥有领先市场任何游戏的最美丽、最完整的虚拟世界，花费近8年的时间构建，囊括超过1,000名NPC角色（每个角色都有自己的个性、概念艺术和配音演员），一个近30平方英里的世界，分布在6个章节中超过100个的任务数量，以及由100多名音乐家创作的近60小时的音乐集。游戏在所有方面的投入都是巨大的。
再比如《微软飞行模拟器》这款游戏，世界相比《荒野大镖客2》更加庞大。它允许玩家飞越整个地球，覆盖1.97亿平方英里的面积。微软是如何构建如此庞大的游戏的呢？答案还是人工智能。微软与blackshark.ai合作，训练了一种AI，从2D卫星图像生成逼真的3D世界。
如果不使用人工智能，它将完全不可能建造。此外，这些模型的好处在于，它们可以不断地改进。例如，它们可以增强“高速公路立交桥”模型，重新运行整个构建过程，突然间整个地球上的高速公路立交桥都得到了改进。
3. 游戏制作中涉及的每个资产都将有一个生成式人工智能模型
到目前为止，像Stable Diffusion或MidJourney这样的2D图像生成器已经获得了主流的关注，因为它们可以生成引人注目的图像。游戏中涉及的资产开始具有各自的生成式人工智能模型，从3D模型、角色动画到剧情和音乐。
4. 内容价格正在急剧下降，在某些情况下甚至可能降至零。
将生成式AI整合到游戏开发管线时，时间和成本将急剧降低。有开发者说，他们为单张图像生成概念艺术的时间，已经从三周降至一个小时：降幅达到120比1。我们相信，在整个生产流程中都可以实现类似的节省。
但需要明确的一点是，艺术家并不会完全面临被取代的危险。AI意味着艺术家不再需要自己完成所有的工作：他们现在可以设定初始创意方向，然后将许多耗时且技术性强的执行工作交给人工智能。在这方面，艺术家就像手绘动画早期的“勾线人员”一样，只需要绘制动画的轮廓线，然后最耗时的填色板工作由大批的低成本“填色人员”（AI）来完成。
5. 我们仍然处于这场革命的初始阶段，需要进一步完善许多实践方法。
尽管最近产生了很多热点，但我们仍然只处于起跑线上。在我们找到如何利用这种新技术来开发游戏的过程中，还有大量的工作需要完成。对于那些迅速进入这个新领域的公司来说，将会产生巨大的机会。
游戏行业的未来变革
基于以上5点的当前生成式AI发展背景，以下列出一些游戏产业未来变革的预测：
1. 学会有效地使用生成式AI将成为一项具有市场竞争力的个人技能指标
我们已经看到一些实验者比其他人更高效地使用了生成式AI。要充分利用这项新技术，需要使用各种工具和审美能力，并知道如何在它们之间进行转换。我们预测这将成为一项可市场化的技能，结合了艺术家的创造视野和程序员的技术能力。
随着游戏内容变得丰富，懂得如何有效地利用工具与AI协作的艺术家将会是最稀缺的人才。
使用生成式AI进行艺术创作并不是完全0门槛的事情，以下列举两个挑战：
连贯性：对于任何制作资产，需要保证将来对其的更改或编辑性。对于 AI 工具来说，这意味着需要能够使用相同的提示来再现资产。由于目前相同的提示环境可能生成完全不同的结果，因此这可能会造成一定麻烦。（ControlNet已经解决了很大一部分问题）
风格：对于给定游戏中的所有艺术，保持一致的风格非常重要，这意味着AI工具需要经过训练或以其他方式与项目给定风格联系在一起。
2. 降低门槛将导致更多冒险性和创造性的探索行为
我们可能很快就要进入一个游戏开发的新“黄金时代”，低门槛将导致更多创新和创意游戏的爆发。不仅因为较低的生产成本会大大较低风险，还因为这些工具将解锁创造高质量内容以吸引更广泛受众的能力（制作主流类型游戏的能力）。这将导致以下第3点预测的成立……
3. AI辅助的“微型游戏工作室”将崛起
配备生成式人工智能工具和服务，将让我们开始看到由一两名开发者组成的“微型工作室”生产更具商业价值的游戏。小型独立游戏工作室的想法并不新鲜——热门游戏《Among Us》就是由仅有5名员工的Innersloth工作室制作的——但这些小型工作室可以创造的游戏的规模和范围将会增长。这将带来下面第4点的结果...
4. 每年发布的游戏数量增加
Unity和Roblox的成功表明，提供强大的创意工具会导致更多的游戏产品。生成式人工智能将进一步降低门槛，创造出更多的游戏。行业已经面临着更大的竞争挑战——仅去年Steam就新增了超过1万款游戏。
5. 通过生成式AI创造出以前不可能存在的新游戏类型
我们将看到全新游戏类型的诞生，这是仅凭借生成式AI才能实现的。我们上文已经谈到了微软的飞行模拟器，但还会出现完全依赖于实时生成新内容的全新类型。
Spellbrush的全AI绘图游戏《Arrowmancer》上架APP Store。它是一个RPG游戏，具有由人工智能创建的角色，可以实现几乎无限的新玩法。
还有游戏开发者正在使用人工智能让玩家创建自己的游戏角色。此前，他们有一些手绘的角色形象供玩家混合搭配，以创建自己的角色形象。现在他们完全放弃了这种做法，仅仅通过玩家的描述生成角色形象。让玩家通过人工智能生成内容比让他们从头开始上传自己的内容更加安全，因为可以训练人工智能避免创建重复性内容，同时还能让玩家更有归属感。
6. 价值将转移到游戏行业特定的AI工具，而不仅仅是基础AI模型
像Stable Diffusion和Midjourney这样的基础模型所带来的兴奋和热度正在产生令人瞪目的估值，但是不断涌现的新研究证明了随着新技术的不断精细，新模型将会迭代和更替。考虑3种受欢迎的生成式AI模型的网站搜索量：Dall-E、Midjourney和Stable Diffusion。每个新模型都会有自己的热度周期曲线。
以下为主流大模型的流行热度曲线变化：
6. 专属游戏的AI工具套件
另一种方法可能是构建行业特定的AI工具套件，专注于满足特定行业的生成式AI需求，深入了解特定观众，以及与现有游戏引擎生产流程（如Unity或Unreal）进行深入整合。
一个很好的例子是Runway（新一代视频内容生成工具），它通过AI辅助工具（如视频编辑、绿幕去除、修补和运动跟踪）满足了视频创作者的需求。像这样的工具可以构建和满足特定的开发方向，随着时间的推移添加新的模型。我们还没有看到像Runway一样的游戏工具套件的出现，但我们知道这是一个正在积极开发的领域。
7. 法律挑战即将来临
所有这些生成式AI模型的共同点是，它们是使用大量数据集进行训练的，这些数据集通常是通过网络抓取而来的。例如，Stable Diffusion是通过从网络上抓取的超过50亿个图片/标题对进行训练的。
目前，这些模型声称在“公平使用”版权原则下运作，但这个论点尚未在法庭上得到明确的验证。显然，法律挑战即将到来，这可能会改变生成式AI的格局。
大型工作室可能会通过构建基于其拥有明确权利和所有权的专有模型来寻求竞争优势。例如，微软在这方面特别有优势，当前共拥有23个第一方游戏工作室，在收购动视之后还有另外的7个。
8. 编程不会像艺术内容那样被深刻影响 - 至少目前还没有
软件工程是游戏开发的另一个主要成本，但正如文章《艺术并没有死，它只是由机器生成》中所分享的那样，用AI模型生成代码需要更多的测试和验证，因此它的生产力改进比生成创意美术资产要小。像Copilot这样的编码工具可能会为工程师提供中等程度的效率提升，但不会有和美术相同的影响程度......至少在不久的将来是这样。
游戏人要何去何从
基于以上的预测，下面给出一些给游戏行业从业者的建议：
1、立即开始探索生成式AI
完全开发出生成式AI革命的力量需要时间，但现在开始的公司将在以后拥有优势。已经有不少游戏公司正在进行内部实验项目，探索这些技术对生产的影响。
2、寻找市场机会
游戏相关市场细分领域中有些部分已经非常红海，如动画或语音和对话，但其他领域则是空白的。我们鼓励对这个领域感兴趣的创业者将精力集中在尚未被开发的领域，例如“游戏跑道”上。
3、在游戏不用应用的细分领域中占得先机
下面列出了一些在AI不用应用领域中占据先机的公司，给大家提供参考，大致可以分为几个不同的阵营：
2D图像
从文本提示中生成2D图像已经是生成式人工智能中最广泛的应用领域之一了。诸如Midjourney、Stable Diffusion和Dall-E 2之类的工具可以从文本中生成高质量的2D图像，并已经渗透进了游戏生命周期的多个阶段。
概念艺术
生成式人工智能工具非常擅长“构思”或帮助非艺术家（如游戏策划）快速探索概念和想法，以生成概念艺术作品，这是制作过程的关键部分。例如，一家工作室正在使用多个这些工具来极大地加速他们的概念艺术过程，仅需一天的时间即可创建一幅以前需要3周的图像。
首先，他们的游戏策划使用Midjourney探索不同的想法并生成他们觉得激发灵感的图像。然后，这些图像被转交给专业的概念艺术家将它们组合在一起，并在AI的结果上继续绘制，创建一个统一的系列设定，然后将其导入Stable Diffusion以创建一堆变种。
之后再对这些变种进行讨论，选择出一些进行手动编辑，然后重复该过程，直到他们对结果满意。
三维艺术
3D资产是所有现代游戏以及即将到来的元宇宙的基石。虚拟世界或游戏关卡本质上只是一组3D资产，放置和修改以填充环境。创建3D资产比创建2D图像更复杂，涉及多个步骤，包括创建3D模型和添加纹理效果。对于动画角色，还涉及创建一个内部“骨架”，然后在该骨架上创建动画。
已经有几个不同的初创公司正在解决3D资产创建不同阶段的问题，包括模型创建、角色动画和关卡构建。然而，目前还没有一个方案已经达到了集成进流程的能力。
旨在解决3D模型创建问题的初创公司包括Kaedim、Mirage和Hypothetic。大型公司也在关注这个问题，包括Nvidia的Get3D和Autodesk的ClipForge。Kaedim和Get3d专注于从图像生成3D模型；ClipForge和Mirage专注于从文本生成3D模型，而Hypothetic则对从文本和图像生成3D模型都很感兴趣。
3D纹理
3D模型的真实感取决于应用于网格体的纹理或材质。不同的肌理将完全改变场景的外观和感觉。本质上来说，材质是关于光线如何反应于材料的元数据（例如粗糙度、光泽度等）。让艺术家能够根据文本或图像提示轻松生成纹理，将对提高创意过程中的迭代速度大有裨益。几个团队正在追求这个机会，包括BariumAI、Ponzu和ArmorLab。
动画制作
创作出出色的动画是游戏制作过程中最费时间、最昂贵、最需要技巧的部分之一。降低成本、创作更真实的动画的一种方法是使用动作捕捉技术，即将演员或舞者放在动作捕捉服中，记录他们在穿戴捕获设备后的舞台动作。
我们现在看到的生成式人工智能模型可以直接从视频中捕捉动画。这更加高效，因为它消除了昂贵的动作捕捉设备的需求。这些模型的另一个令人兴奋的方面是它们也可以用于对现有动画数据进行滤器，例如让它们看起来醉酒、老龄化或感到快乐。涉足这一领域的公司包括Kinetix、DeepMotion、RADiCAL、Move Ai和Plask。
关卡设计与世界构建
游戏创作中最费时间的部分之一是构建游戏的世界，这是生成式人工智能应该非常适合的任务。像《我的世界》、《无人深空》和《暗黑破坏神》这样的游戏已经以使用程序化生成关卡而闻名，其中关卡是随机创建的，每次都不同，但遵循关卡设计师制定的规则。新的虚幻5游戏引擎5一个重要卖点是其集合了用于开放世界设计的程序化生成工具，例如植被的自适应放置。
我们已经看到了一些在这个领域的尝试，比如Promethean、MLXAR或Meta的Builder Bot，我们认为生成式技术很快就会大规模取代过程式技术。这个领域已经有了一段时间的学术研究，包括Minecraft的生成技术或者Doom的关卡设计。
期待生成式AI工具用于关卡设计的另一个有吸引力的原因是能够创建不同风格的关卡和世界。你可以想象使用工具在20世纪二十年代风格的纽约、反乌托邦的银翼杀手式未来或托尔金式的奇幻世界中生成一个世界。
下面是Midjourney使用“一个以......风格的游戏关卡”这个提示生成的概念图。
音乐和音效
音乐和音效是游戏体验的重要组成部分。我们开始看到一些公司使用生成式AI生成音频文件。已经有学术论文探讨了使用人工智能生成电影中的“foley”（例如脚步声）的想法，但在游戏方面商业产品还很少。
我们认为这只是时间问题，因为游戏的互动性使得生成式人工智能在这方面是一个显而易见的应用，既可以创建静态音效作为生产的一部分（例如像FPS游戏中的枪声，但很容易让玩家觉得重复和不真实），也可以在运行时创建实时交互的音效。
更好的方法是使用实时生成式AI模型来处理音效，它可以实时生成适当的声音，每次都略微不同，响应游戏参数，如地面表面、角色重量、步态、鞋子等。
自适应音乐已经成为游戏音频研究的话题已经有了二十多年的历史，最早可以追溯到微软的“DirectMusic”系统，用于创建交互式音乐。由于在这种格式下进行作曲非常困难，DirectMusic从未被广泛采用。只有少数一些游戏，如Monolith的《无人生还》，创建了真正的交互式音乐。
现在我们看到一些公司正在尝试创建AI生成的音乐，如Soundful、Musico、Harmonai、Infinite Album和Aiva。虽然今天有一些工具，如Open AI的Jukebox，计算强度很高，不能实时运行，但大多数工具一旦建立了初始模型，就可以实时运行。
剧情语音和对话
有许多公司正在努力为游戏角色创建逼真的声音。使用生成式AI进行语音合成有多重优势，这也部分解释了为什么这个领域如此红海。
通常，游戏中的语音是由声音演员预先录制的，但数量十分有限。使用生成式人工智能对话，角色可以说任何事情 - 这意味着他们可以完全对玩家的行为作出反应。结合更智能的NPC的AI模型，即将推出可以完全对玩家作出反应的游戏。
角色扮演。许多玩家想扮演与他们现实世界身份极不相似的幻想角色。然而，一旦玩家以声优的声音进行说话，这种幻想就会破灭。使用与玩家角色相匹配的生成声音可以保持这种幻想。
由于语音是生成的，您可以控制声音的色彩、语调、情感共鸣、音素长度、口音等等。另一些本地化工具允许将对话翻译成任何语言并以同一声调进行发音。像Deepdub这样的公司专注于这个细分市场。
NPCs或玩家角色
许多初创公司正在考虑使用生成式人工智能来创建可信角色，玩家可以与其进行交互。这是一个具有广泛适用性的市场，适用于游戏之外的虚拟助手、前台等领域。
创建可信角色的努力可以追溯到人工智能研究的开始。实际上，关于人工智能的经典“图灵测试”的定义便是人类无法区分与AI和人类的对话差异。
此时，有数百家公司正在构建通用聊天机器人，其中许多由类似GPT-3的语言模型驱动。更少数的公司专门试图构建用于娱乐目的的聊天机器人，例如Replika和Anima，他们试图构建虚拟朋友。在电影《她》中探讨的与虚拟声音女友约会的概念可能比您想象的更接近。
全能平台
目前最成功的生成式AI工具之一是Runwayml.com，因为它将一套广泛的创作者工具集成于一个平台中。目前还没有这样的平台为视频游戏提供服务，这是一个被忽视的机会。
将来将会有一个全套生成式AI工具，涵盖整个生产过程。（包括代码、资源生成、纹理、音频、叙事等），并与流行的游戏引擎（如Unreal和Unity）紧密集成，以适配典型的游戏生产流程。
结论
现在是成为游戏创作者的绝佳时机！一部分得益于以上所描述的工具，令目前生成游戏所需的内容变得非常容易——即使你的游戏像整个星球一样巨大！
甚至可以想象未来有一款完全个性化的游戏，仅根据玩家的需求创建，这在科幻小说中已经存在了很长一段时间——例如《安德的游戏》中的“AI头脑游戏”，或者《星际迷航》中的全息甲板。
- End -
来源 / a16z
编辑&翻译 / 毁男孩的小图纸
▲ 欢迎热爱电影设计的小伙伴们投稿 ▲
电影设计联盟1群：882842048
电影设计联盟2群：199063656
图纸学社-技术美术交流群：1067081282
投稿转载 / 交流合作
请联系微信：
bingfmj001
知乎ID：毁男孩的小图纸
知乎专栏：筑·影·时代
-电影设计师-
713
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
