AIGC 与实时互动游戏：西游大绘战 ｜N3 连麦对谈干货

对谈 是 Mixlab 与 ComfyUI 中文社区共同发起的语音连麦活动，关注 AI+ 具体应用领域。希望能快速跟进 AI 与不同领域相结合的落地方式，并创造新的可能性。

ComfyUI 爱好者中文社区

帮助优秀的 AI 创作者，提升个人品牌价值。

Mixlab 无界社区

开源、跨界线上孵化平台

---

N3：生成式 AI 与实时互动游戏

本期主要探讨：如何通过 ComfyUI 和其他技术（如ChatGPT、TTS）创造出有趣的游戏体验 ？

社区创建者 Shadow：

“我们可以用工具去「测试我们各种各样的想法」，把我们的创意变成产品。”

对谈嘉宾之一 Rui：

“现在的这个游戏它还是跟以前的不大一样。因为之前的那个剧情走向，只有几种选择。现在「借助 GPT，可以实现无限种可能」，画面还能实时生成。”

嘉宾 Rui 在本次连麦里，向大家展示了他使用 ComfyUI 创作的一款以《西游记》为主题的，实时互动游戏《西游大绘战》—— 这是一款将 AI 技术和游戏融合的游戏。

Rui 刚开始只是突发奇想，在绘画软件里搭了个互动对话游戏，结果的结果是：零代码，一天搞定！⚡️ 他通过 ComfyUI 做了一个与 GPT 实时互动来影响剧情的游戏，而故事的背景选的是《西游记》，引入了诸如，文本转语音（TTS）、ChatGPT、Stable Diffusion（SD) 等多种 AI 技术来进行创作。

在 ComfyUI 工作流中构建“西游记”

来，先给 ‘工具们’ 分工

你将扮演刚出生的美猴王，孙悟空。

GPT 负责剧本编写

SDXL 和 Dall.E3 负责创作插图

MS-TTS 负责提供各种声音的口语对话

经过这一系列的布置和设计，一切都像一幅卷轴画一样，呈现在你的眼前。

继续在 GPT 提供的 4 个选项里选，游戏将继续展开。在这个过程中，GPT 都能全程陪你，自由地改变故事情节，将想象力直观呈现出惊人的效果。

看到这里，大家一定已经有很多很好奇啦，比如：

所谓「技术的融合」是怎么做到的 ？

Rui 首先利用 ChatGPT 生成具有逼真性和相关性的对话，使游戏角色能够根据玩家的行动和选择作出有意义的反应。

同时，将文本转换为语音，为游戏角色提供了更加自然和生动的语音，增强了玩家的沉浸感。

再通过 GPT 生成 Stable Diffusion 的 Prompt，用于创造游戏中的视觉元素，如背景、角色和场景，使得游戏的视觉效果能够根据玩家的行为进行动态变化。

如何处理并优化 AI 生成的内容 ？

Rui 说，AI 技术在生成创意内容时非常好用，但同时也需要人的引导、调整以达到最佳效果。他也是通过不断试验和调整，才找到平衡 AI 自动生成和手动调整之间的最佳方式。

AI 如何改变游戏的叙事和互动 ？

AI 生成剧情充满无限可能性，与传统的线性剧情游戏相比，AI 实时生成的剧情可以提供更多元化和个性化的游戏体验，这种技术不仅限于文字，还可以结合图像生成，创造一个丰富、多模态的游戏世界。

点击图片阅读详细的工作流

学习 ComfyUI 的小 tips

Rui 指出，作为没有技术背景的设计师，可能最初接触 ComfyUI 会感到有些困难，其实不必太过担心。他给了 4 个建议：

首先，很多教程可能已经过时或不准确，特别是对于设计师来说，这是一个学习上的障碍点。他提议创建更基础的教程，尤其是关于环境设置的教程，大家可以查阅社区创建的教程。

其次，我们需要理解 SD 的整个生成流程和原理，这是灵活使用 ComfyUI 的基础。

另外，学习 ComfyUI 需要更多实践多探索，跨界学习。大家可以利用开源社区的资源，了解 ComfyUI 各个节点的参数和功能，这对于学习和使用 ComfyUI 也非常有帮助。

在连麦直播中，Shadow 和熊叔也提供了一系列学习建议，希望大家都通过自己的努力，成为 AI 时代的超级个体：

Shadow：

探索各类技术工具的同时，进行系统性的学习，比如Python 和JavaScript 的系统性。

熊叔：

要克服对未知学习信息的恐惧，利用 AI 技术解决具体的问题。

《西游大绘战》不仅是一款游戏，更是一个展示 AI 技术和创新思维如何结合，以创造独特体验的典范，我们也已经看到 AIGC 和实时互动游戏的巨大潜力。

---

嘉宾介绍

Rui zhang

Rui ，资深游戏设计师和管理人，曾在多家知名游戏公司担任重要角色。随着 AI 技术的不断发展，他开始探索将 AI 技术融入游戏设计/实时互动游戏领域。他 ComfyUI 工作流的作品，还在 Mixlab 和 ComfyUI 中文社区获得了广泛的关注。

- N3-

欢迎和我们预约下一期对谈主题：