[Unity Sentis] 使用 Unity Sentis 来利用人工智能模型创建新一代功能

英文原文：https://blog.unity.com/games/create-next-gen-ai-models-with-unity-sentis

我们创建 Unity Sentis 是为了让开发人员能够将 AI 模型引入游戏和应用程序中。现在处于预发布的公开测试版中，Sentis 允许在所有类型的项目中实现复杂的功能，例如对象识别、语音识别和智能 NPC。

通过 ONNX 文件标准导入后，这些 AI 模型可以直接在所有 Unity 支持的平台上运行。这意味着您可以直接在用户设备上的 Unity Runtime 中运行大多数 AI 模型，而无需云基础设施。

Unity Sentis 入门

Unity Sentis 包文档可在此处获取，并且可以通过包管理器下载。将软件包安装到您的项目中并且您拥有想要使用的 AI 模型后，集成就变得非常简单。

第 1 步：找到支持的 AI 模型

最终，您在项目中选择使用哪种模式完全取决于您自己。每个模型都取决于您要解决的任务。您可以先在市场上浏览一些有趣的模型，如 Hugging Face、Keras 或 PyTorch。如果你有机器学习背景，也可以训练自己的模型，或者使用 Unity ML-Agents 来满足强化学习的需求。主要要求是模型必须转换为 ONNX 文件格式。如果需要，可以使用 TF2ONNX 等 ONNX 转换器。

请参阅 Sentis 文档中的导入模型以获取代码示例。

第 2 步：将模型加载到 Unity 中

将模型加载到 Unity 中所需的过程与加载任何资源所遵循的过程相同。只需将其拖放到编辑器中项目窗口的资源文件夹中即可。 Sentis 会自动优化导入的模型。然后，创建一个运行时模型对象。

有关代码示例，请参阅 Sentis 文档中的加载模型。

第 3 步：创建输入和推理

创建输入相当简单，只需在 ONNX 模型导入设置中检查所需模型输入的形状和大小即可。然后，您可以从数据源创建张量。如果需要多个输入，请将它们全部存储在字典中。

请参阅 Sentis 文档中的为模型创建输入以获取代码示例。

第 4 步：运行并优化模型

当您准备好运行模型时，您需要创建一个工作线程，将模型分解为可以在用户设备（CPU 或 GPU）上运行的任务。通过此代码示例可以创建一个worker。

一旦你的worker设置完毕，就可以运行你的人工智能模型了。在这里，您将模型的输入和输出连接到您的游戏代码，然后使用分析器查看是否在预算范围内。如果花费太多预算，您可以将模型“切片”到多个帧上，或者探索 Sentis 中的其他性能调整选项。

有关如何运行模型、获取输出和优化输出的更多信息，请参阅 Sentis 文档中的运行模型。

第 5 步：测试并部署您的模型

最后一步是测试和部署您的游戏。像在任何 Unity 运行时平台上通常执行的操作一样执行此操作。您可以通过多种方式在游戏二进制文件中传输模型：可以将其嵌入到构建中，也可以将其作为流媒体资产运行，以便仅在需要时下载。出于安全原因，您还可以考虑加密您的模型。

有关代码示例，请参阅 Sentis 文档中的加密模型。

其他用例

人工智能模型可以帮助您创建引人入胜的功能，而使用传统代码开发这些功能可能不可能或非常耗时。用例涵盖所有类别的人工智能模型，应用程序取决于您选择实现的模型。不过，这里有一些 Sentis 可以帮助开发过程的示例。

- 图像/资产升级

开发人员选择 Unity 的一个重要原因是能够更轻松地跨多个平台发布 - 但优化仍然是一个挑战。使用 TensorFlow 的超分辨率等升级模型，您可以升级游戏中的低分辨率图像或纹理，以达到生产质量，或者仅在需要时跨不同设备帮助优化资产。

- 语音识别

当涉及到与 NPC 和其他玩家互动时，玩家互动是联网在线游戏的关键。借助 OpenAI 的 Whisper 等语音转文本模型，您可以将实时语音转换为游戏中的文本。您还可以引入 AI 模型来自动对话，并在玩家和 NPC 之间创建有意义的交互，而不受手动脚本的限制。

- 图形优化

虽然人工智能的重点是创造新颖的功能，但我们也看到了在提高游戏性能方面的出色应用。其中一个例子是使用 AI 模型来改进移动设备上的光线追踪，方法是使用升级的 GAN AI 模型来幻化游戏场景的预渲染帧。使用这样的应用程序，您可以在较小的项目中实现路径跟踪功能，例如光折射和焦散区域灯，而不会影响用户设备的性能。

- AR和VR物体识别

增强现实和虚拟现实 (VR) 也是将 AI 模型与 Sentis 结合使用的一个巨大潜在用例。例如，您可以在 VR 中使用 Ultralytics YOLO 模型来检测游戏场景中的对象，或者在 AR 中使用 Ultralytics YOLO 模型从设备摄像头源中检测现实世界的对象。这可以为用户提供只有人工智能才能实现的监督视觉感。