【Unity6.0+AI】Unity版的Pytorch之Sentis-把大模型植入Unity

已于 2024-01-22 10:29:37 修改
阅读量2.4k 收藏 30
点赞数 21
分类专栏： Unity3D进阶与MR项目开发 文章标签： unity 游戏引擎
于 2023-12-25 17:24:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leoysq/article/details/135204244
版权
本教程介绍了如何在Unity中使用Sentis集成AI模型，特别是Pytorch训练的模型需转换为ONNX格式。Sentis是一个本地推理引擎，支持在游戏或应用中运行AI模型，利用终端设备的计算资源。Sentis基于PyTorch的C++接口，提供GameObject和MonoBehaviour支持，允许在没有昂贵云服务器的情况下运行模型。教程涵盖了Sentis的安装、模型转换、加载和使用流程。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Unity3d青子
关注
  • 21
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
订阅专栏
unity+pytorch手写数字识别
ys999666的博客
03-21 3528
安装Barracuda https://docs.unity3d.com/Packages/com.unity.barracuda@1.0/manual/Installing.html using System.Collections; using System.Collections.Generic; using UnityEngine; using Unity.Barracuda; public class inference1 : MonoBehaviour { public NNMod.
UnityImageSynthesisTutorial1：使用Unity生成合成图像，以在PyTorch和fastai中进行深度学习图像分割
02-06
该项目将帮助您快速掌握在Unity中生成综合训练图像的速度。 您不需要任何Unity经验，但是建议您具有Python和fastai库/课程的经验。 在本教程结束时，您将训练一个可以识别不同3D实体的图像分割网络。 在我的上阅读更多详细信息 跟随 入门 克隆仓库 使用Unity / Unity Hub打开项目（建议2018.3.2） 打开“实心”场景 创建一个“捕获/培训”和“捕获/ val”文件夹 如果要进行快速训练，请打开SceneControl对象并启用“保存/灰度”。 否则，请禁用这些功能，然后仅在Unity中查看注释。 按运行按钮 创建一个辅助游戏窗口，然后将基于图层的类别注释的
Unity Sentis首份教程来啦，利用AI模型创建先进功能
Peter的博客
12-14 687
通过应用这个模型，用户可以在较小的项目中实现光线追踪功能，如光的折射和焦散区域光，这个方法并不会影响设备的性能。通过使用 TensorFlow 提供的 Super Resolution 分辨率增强（upscaling）模型，用户可以将游戏中的低分辨率图像、纹理增强为符合生产质量的图像、纹理，或者仅在需要时，辅助优化不同设备上的资产。例如，用户可以在 VR 项目中使用 Ultralytics 的 YOLO 模型，在游戏场景中检测物体，或者在 AR 项目里从设备摄像头中检测现实世界的物体。
[Unity Sentis] Unity Sentis 详细步骤工作流程
unity尧明的博客
02-03 1560
Unity Sentis 详细步骤工作流程
Unity使用人工智能模型进行数字识别（Sentis）
weixin_45972052的博客
05-23 330
Sentis 允许您将 ONNX 格式 的人工智能/ML 神经网络模型（来自 TensorFlow、PyTorch 和其他人工智能中心）导入 Unity 编辑器，然后在所有 Unity 支持平台上的用户设备上实时优化和运行推理。
使用 Unity Sentis 和 Compute Shader 进行高效人脸识别
m0_55632444的博客
05-24 624
Unity sentis就是Unity barracuda的升级版，所以使用sentis人脸识别步骤基本和barracuda一致，详情参考我的《使用 Unity Barracuda 和 Compute Shader 进行高效人脸识别》
使用 Unity Sentis 和 Compute Shader，det_10g.onnx 进行高效人脸五官定位
m0_55632444的博客
05-30 1161
在计算机视觉领域，人脸五官定位是一个重要的任务。本文将介绍如何使用 Unity Sentis 和 Compute Shader，结合模型，实现高效的人脸五官定位。我们将详细讲解每一步骤，并提供完整的代码示例。
Unity接入大模型（小羊驼Vicuna，vLLM，ChatGPT等）
qq_72486113的博客
06-28 2633
实现在Unity内部的大模型访问，我也是第一次接触Unity中通过大模型url访问。此博客面向新手，旨在给大家简单理解大模型POST和GET过程，还有实现简单的大模型访问。
Unity AI Sentis 基础教程
Maddie_Mo的博客
10-07 3032
Sentis 是 AI 模型的本地推理引擎，它利用最终用户设备上的计算，而不是云服务器。它可以在可以部署 Unity 运行时的任何位置运行。它取代了 Barracuda 并解决了我们在 Barracuda 处于早期原型阶段时收到的许多反馈。最重要的是，Sentis 可以以游戏速度运行许多神经网络。Sentis 目前处于开放测试阶段，公开发布时可用于商业用途。届时Sentis 将对所有 Unity 用户免费开放，并可用于无限制的本地推理。
使用 Unity Sentis 实现AI换脸
最新发布
m0_55632444的博客
06-03 1302
需要用到该篇文章中的五个关键点信息。
[Unity Sentis] 使用 Unity Sentis 来利用人工智能模型创建新一代功能
unity尧明的博客
02-03 382
我们创建 Unity Sentis 是为了让开发人员能够将 AI 模型引入游戏和应用程序中。现在处于预发布的公开测试版中，Sentis 允许在所有类型的项目中实现复杂的功能，例如对象识别、语音识别和智能 NPC。
DQN-using-PyTorch和ML-Agents：如何使用PyTorch和ML-Agents环境实现基于矢量的DQN的简单示例
02-06
使用PyTorch和Unity ML-Agent进行深度Q网络（DQN）强化学习 一个简单的示例，说明如何使用PyTorch和ML-Agents环境实现基于矢量的DQN。 深度强化学习（DRL）中的Udacity Danaodgree项目 该存储库包含以下与DQN相关的文件： dqn_agent.py-> dqn-agent实现 replay_memory.py-> dqn-agent的重播缓冲区实现 model.py->用于基于向量的DQN学习的示例PyTorch神经网络 train.py->初始化并实施DQN代理的训练过程。 test.py->测试受过训练的DQN代理 根据Udacit
Unity-AI-Sentis系统的示例模型，便于学习和测试
12-25
Unity-AI-Sentis系统的示例模型，便于学习和测试
Obfuscator Pro 3.9.3.unitypackage+Unity-Obfuscator-demo-master.zip
07-01
Obfuscator Pro 3.9.3.unitypackage/用于Unity代码混淆加密,这里是一个包含插件的可运行测试游戏版本,和配置表示意图.
uAI - AI Assistant 1.3.7人工智能助手Unity插件unitypackage项目源码C#
04-15
uAI - AI Assistant 1.3.7人工智能助手Unity插件unitypackage项目源码C# 支持Unity版本2020.3.45或更高 uAI Assistant 是 Unity 的扩展，提供了一套强大的工具，由 OpenAI 最新的 GPT-4 Turbo 提供支持，具有 128k ...
Unity推出AI工具Sentis和Muse，助力游戏开发更上一层楼
Amber9999_的博客
08-22 169
为了支持和加快创作过程，Unity与多家领先的AI解决方案提供商展开合作，包括Convai、Inworld AI、Layer AI、Leonardo AI、LMNT、Modl.ai、Polyhive、Replica Studios和Zibra AI。这些经过AI验证的解决方案可以在Unity资源商店中找到，为开发人员提供专业级的AI工具，支持他们在项目中应用智能NPC驱动、AI生成的视觉效果（VFX）、纹理、2D精灵、3D模型、生成语音以及进行内部AI测试。带来更加丰富、沉浸式的体验。
unity结合python
sxj676的博客
10-21 887
然后用C#去调用这个exe文件，并传入所需要的必要的参数。像我自己由于要实现的功能，需要读取几个在unity运行中产生的文件，所以我是将那些文件保存后，再将需要用到的这些文件的路径保存在一个TXT文件中，然后在调用exe文件时直接传入TXT文件的路径作为参数，然后就可以通过读取该TXT文件获取到所有需要的文件了。这里的注意点是，路径最好用Application.dataPath（），这样方便在编辑器和打包出的结果中都能使用，在编辑器中它返回的路径就在Asset文件夹中，而打包的结果则在Data文件夹中。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Unity3d青子

难题的解决使成本节约，求打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值