[Unity Sentis] 使用 Unity Sentis 来利用人工智能模型创建新一代功能-CSDN博客

这篇文章介绍了UnitySentis，一款帮助开发者将AI模型整合到游戏和应用中的工具。它支持ONNX格式的模型，可在Unity平台上无缝运行。教程涵盖了从选择模型、导入到运行和优化的步骤，以及实际应用如图像升级、语音识别、图形优化和AR/VR物体识别的案例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

英文原文：https://blog.unity.com/games/create-next-gen-ai-models-with-unity-sentis

文章目录

Unity Sentis 入门

我们创建 Unity Sentis 是为了让开发人员能够将 AI 模型引入游戏和应用程序中。现在处于预发布的公开测试版中，Sentis 允许在所有类型的项目中实现复杂的功能，例如对象识别、语音识别和智能 NPC。

通过 ONNX 文件标准导入后，这些 AI 模型可以直接在所有 Unity 支持的平台上运行。这意味着您可以直接在用户设备上的 Unity Runtime 中运行大多数 AI 模型，而无需云基础设施。

Unity Sentis 入门

Unity Sentis 包文档可在此处获取，并且可以通过包管理器下载。将软件包安装到您的项目中并且您拥有想要使用的 AI 模型后，集成就变得非常简单。

第 1 步：找到支持的 AI 模型

最终，您在项目中选择使用哪种模式完全取决于您自己。每个模型都取决于您要解决的任务。您可以先在市场上浏览一些有趣的模型，如 Hugging Face、Keras 或 PyTorch。如果你有机器学习背景，也可以训练自己的模型，或者使用 Unity ML-Agents 来满足强化学习的需求。主要要求是模型必须转换为 ONNX 文件格式。如果需要，可以使用 TF2ONNX 等 ONNX 转换器。

请参阅 Sentis 文档中的导入模型以获取代码示例。

第 2 步：将模型加载到 Unity 中

将模型加载到 Unity 中所需的过程与加载任何资源所遵循的过程相同。只需将其拖放到编辑器中项目窗口的资源文件夹中即可。 Sentis 会自动优化导入的模型。然后，创建一个运行时模型对象。

有关代码示例，请参阅 Sentis 文档中的加载模型。

第 3 步：创建输入和推理

创建输入相当简单，只需在 ONNX 模型导入设置中检查所需模型输入的形状和大小即可。然后，您可以从数据源创建张量。如果需要多个输入，请将它们全部存储在字典中。

请参阅 Sentis 文档中的为模型创建输入以获取代码示例。

第 4 步：运行并优化模型

当您准备好运行模型时，您需要创建一个工作线程，将模型分解为可以在用户设备（CPU 或 GPU）上运行的任务。通过此代码示例可以创建一个worker。

一旦你的worker设置完毕，就可以运行你的人工智能模型了。在这里，您将模型的输入和输出连接到您的游戏代码，然后使用分析器查看是否在预算范围内。如果花费太多预算，您可以将模型“切片”到多个帧上，或者探索 Sentis 中的其他性能调整选项。

有关如何运行模型、获取输出和优化输出的更多信息，请参阅 Sentis 文档中的运行模型。

第 5 步：测试并部署您的模型

最后一步是测试和部署您的游戏。像在任何 Unity 运行时平台上通常执行的操作一样执行此操作。您可以通过多种方式在游戏二进制文件中传输模型：可以将其嵌入到构建中，也可以将其作为流媒体资产运行，以便仅在需要时下载。出于安全原因，您还可以考虑加密您的模型。

有关代码示例，请参阅 Sentis 文档中的加密模型。

其他用例

人工智能模型可以帮助您创建引人入胜的功能，而使用传统代码开发这些功能可能不可能或非常耗时。用例涵盖所有类别的人工智能模型，应用程序取决于您选择实现的模型。不过，这里有一些 Sentis 可以帮助开发过程的示例。

- 图像/资产升级

开发人员选择 Unity 的一个重要原因是能够更轻松地跨多个平台发布 - 但优化仍然是一个挑战。使用 TensorFlow 的超分辨率等升级模型，您可以升级游戏中的低分辨率图像或纹理，以达到生产质量，或者仅在需要时跨不同设备帮助优化资产。

- 语音识别

当涉及到与 NPC 和其他玩家互动时，玩家互动是联网在线游戏的关键。借助 OpenAI 的 Whisper 等语音转文本模型，您可以将实时语音转换为游戏中的文本。您还可以引入 AI 模型来自动对话，并在玩家和 NPC 之间创建有意义的交互，而不受手动脚本的限制。

- 图形优化

虽然人工智能的重点是创造新颖的功能，但我们也看到了在提高游戏性能方面的出色应用。其中一个例子是使用 AI 模型来改进移动设备上的光线追踪，方法是使用升级的 GAN AI 模型来幻化游戏场景的预渲染帧。使用这样的应用程序，您可以在较小的项目中实现路径跟踪功能，例如光折射和焦散区域灯，而不会影响用户设备的性能。

- AR和VR物体识别

增强现实和虚拟现实 (VR) 也是将 AI 模型与 Sentis 结合使用的一个巨大潜在用例。例如，您可以在 VR 中使用 Ultralytics YOLO 模型来检测游戏场景中的对象，或者在 AR 中使用 Ultralytics YOLO 模型从设备摄像头源中检测现实世界的对象。这可以为用户提供只有人工智能才能实现的监督视觉感。