【Unity6.0+AI】Unity版的Pytorch之Sentis-把大模型植入Unity

已于 2024-01-22 10:29:37 修改
阅读量3.8k 收藏 34
点赞数 22
CC 4.0 BY-SA版权
分类专栏： Unity3D进阶与MR项目开发 文章标签： unity 游戏引擎
于 2023-12-25 17:24:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leoysq/article/details/135204244
本教程介绍了如何在Unity中使用Sentis集成AI模型，特别是Pytorch训练的模型需转换为ONNX格式。Sentis是一个本地推理引擎，支持在游戏或应用中运行AI模型，利用终端设备的计算资源。Sentis基于PyTorch的C++接口，提供GameObject和MonoBehaviour支持，允许在没有昂贵云服务器的情况下运行模型。教程涵盖了Sentis的安装、模型转换、加载和使用流程。

本教程详细讲解什么Sentis。以及恶补一些人工智能神经网络的基础概念，概述了基本流程，加载模型、输入内容到模型、使用GPU让模型推理数据、输出数据。

官方文档

Unity Sentis: Use AI models in Unity Runtime | Unity 主页介绍

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【智能模型系列】Unity-Sentis实现加载各种ONNX模型本地部署运行
纯技术流日常开发商业开发记录总结等
07-02 515
Sentis是一个神经网络推理库。它允许你导入已训练好的神经网络模型，将网络输入和输出与你的游戏代码连接起来，然后在你的最终用户页面上本地运行这些模型。其适用场景包括自然语言处理、物体识别、自动游戏对手、传感器数据分类等众多功能。 Sentis会自动优化您的网络以进行实时使用，从而加快推理速度。它还允许您使用诸如帧切片、量化和自定义后端(即计算类型调度)等工具进一步调优您的实现
【Unity6.0+AI】Sentis加载模型识别手写数字案例实现
leoysq的博客
12-26 1684
按照国际惯例，看效果：【Unity6.0+AI】Sentis加载模型识别手写数字案例实现下面的示例对一个手写数字进行了分类。准备工作：从 ONNX Model Zoo 下载手写识别 ONNX 模型文件，并将其拖入项目窗口的 Assets 文件夹。【下载模型】本案例提供了一个示例模型【编写脚本】将脚本附加到场景中。对于第一次使用AI模型的开发者，代码里面有很多概念需要详细吃透这段代码主要是在Unity Sentis中执行一个深度学习模型的过程。这行代码是从一个变量oneModel。
Unity使用人工智能模型进行数字识别（Sentis）
weixin_45972052的博客
05-23 877
Sentis 允许您将 ONNX 格式 的人工智能/ML 神经网络模型（来自 TensorFlow、PyTorch 和其他人工智能中心）导入 Unity 编辑器，然后在所有 Unity 支持平台上的用户设备上实时优化和运行推理。
unity+pytorch手写数字识别
ys999666的博客
03-21 3884
安装Barracuda https://docs.unity3d.com/Packages/com.unity.barracuda@1.0/manual/Installing.html using System.Collections; using System.Collections.Generic; using UnityEngine; using Unity.Barracuda; public class inference1 : MonoBehaviour { public NNMod.
UnityImageSynthesisTutorial1：使用Unity生成合成图像，以在PyTorch和fastai中进行深度学习图像分割
02-06
该项目将帮助您快速掌握在Unity中生成综合训练图像的速度。 您不需要任何Unity经验，但是建议您具有Python和fastai库/课程的经验。 在本教程结束时，您将训练一个可以识别不同3D实体的图像分割网络。 在我的上阅读更多详细信息 跟随 入门 克隆仓库 使用Unity / Unity Hub打开项目（建议2018.3.2） 打开“实心”场景 创建一个“捕获/培训”和“捕获/ val”文件夹 如果要进行快速训练，请打开SceneControl对象并启用“保存/灰度”。 否则，请禁用这些功能，然后仅在Unity中查看注释。 按运行按钮 创建一个辅助游戏窗口，然后将基于图层的类别注释的
UUG 深圳站 | Unity 6 新功能详细介绍和演示
unityofficial的博客
12-16 1765
附PPT下载链接在 2024 年 11 月 2 日的 Unity User Group 深圳站活动中，Unity 中国技术支持负责人牟宝玉来演讲《Unity 6 新功能详细介绍和演示》。本文为演讲全程实录。下载演讲PPT：https://u3d.sharepoint.cn/:f:/s/UnityChinaResources/EsYaYWapDB9Nrr2hSxvIVhsBfVE9i8w_W3dZSuPrqbI-HA。
Unity接入大模型（小羊驼Vicuna，vLLM，ChatGPT等）
qq_72486113的博客
06-28 4194
实现在Unity内部的大模型访问，我也是第一次接触Unity中通过大模型url访问。此博客面向新手，旨在给大家简单理解大模型POST和GET过程，还有实现简单的大模型访问。
【Unity】 HTFramework框架（六十）Assistant助手（在Unity中接入DeepSeek等AI语言大模型）
神码编程
02-14 1962
更新日期：2025年2月14日。
精选资源
Unity-AI-Sentis系统的示例模型，便于学习和测试
12-25
Unity-AI-Sentis系统的示例模型，便于学习和测试
精选资源
Unity3d C# 基于单目摄像头+AI算法实现实时人体识别、以及特效匹配功能源码工程
04-22
结合Unity + Barracuda的组合，实现了Unity3d引擎内的AI人体识别，如一束突破次元壁的光芒，单单凭借单目摄像头的硬件，在Unity引擎中实现了令人惊艳的实时人体特效交互。当然目前该工程也能支持贴图(Texture)、视频...
Unity AI Sentis 基础教程
Maddie_Mo的博客
10-07 5982
Sentis 是 AI 模型的本地推理引擎，它利用最终用户设备上的计算，而不是云服务器。它可以在可以部署 Unity 运行时的任何位置运行。它取代了 Barracuda 并解决了我们在 Barracuda 处于早期原型阶段时收到的许多反馈。最重要的是，Sentis 可以以游戏速度运行许多神经网络。Sentis 目前处于开放测试阶段，公开发布时可用于商业用途。届时Sentis 将对所有 Unity 用户免费开放，并可用于无限制的本地推理。
Unity Sentis首份教程来啦，利用AI模型创建先进功能
Peter的博客
12-14 1354
通过应用这个模型，用户可以在较小的项目中实现光线追踪功能，如光的折射和焦散区域光，这个方法并不会影响设备的性能。通过使用 TensorFlow 提供的 Super Resolution 分辨率增强（upscaling）模型，用户可以将游戏中的低分辨率图像、纹理增强为符合生产质量的图像、纹理，或者仅在需要时，辅助优化不同设备上的资产。例如，用户可以在 VR 项目中使用 Ultralytics 的 YOLO 模型，在游戏场景中检测物体，或者在 AR 项目里从设备摄像头中检测现实世界的物体。
Unity ML-Agents 中的 Sentis 神经网络推理引擎详解
最新发布
gitblog_00458的博客
06-02 564
Unity ML-Agents 中的 Sentis 神经网络推理引擎详解 【免费下载链接】ml-agents Unity-Technologies/ml-agents: 是一个基于 Python 语言的机器学习库，可以方便地实现机器学习算法的实现和测试。该项目提供了一个简单易用的机器学习库，可以方便地实现机器学习算法的实...
[Unity Sentis] 使用 Unity Sentis 来利用人工智能模型创建新一代功能
unity尧明的博客
02-03 1306
我们创建 Unity Sentis 是为了让开发人员能够将 AI 模型引入游戏和应用程序中。现在处于预发布的公开测试版中，Sentis 允许在所有类型的项目中实现复杂的功能，例如对象识别、语音识别和智能 NPC。
使用Unity sentis 实现手部识别及关键点定位
m0_55632444的博客
07-05 818
在当前的增强现实（AR）和虚拟现实（VR）领域中，精准的手部跟踪技术是提升用户体验的关键。利用 Unity 引擎和 Manus Core SDK，开发者可以实现高级的手部识别和关键点定位功能，为用户提供更自然、直观的交互方式。
【Unity Sentis应用-手写数字识别】
安东尼的博客
02-20 1958
本文介绍的是使用Unity的AI工具Sentis，结合ONNX大模型，匹配手写数字的识别结果的简单应用。Unity Sentis是一款无缝集成自定义AI模型的工具，专为Unity引擎设计。该工具可以在Unity运行的各个平台上流畅运行，无需额外的优化。Unity Sentis允许大家将神经网络嵌入到他们的构建中，从而提供实时的体验，增强游戏玩法和功能在不同平台上的表现。
使用Unity Sentis 实现无绿幕AI抠图
m0_55632444的博客
06-07 1125
使用Sentis 实现实时无绿幕抠图。
[Unity Sentis] 了解 Sentis 中的模型
unity尧明的博客
02-03 540
英文原文：https://docs.unity3d.com/Packages/com.unity.sentis@1.3/manual/models-concept.html。
unity结合python
sxj676的博客
10-21 1206
然后用C#去调用这个exe文件，并传入所需要的必要的参数。像我自己由于要实现的功能，需要读取几个在unity运行中产生的文件，所以我是将那些文件保存后，再将需要用到的这些文件的路径保存在一个TXT文件中，然后在调用exe文件时直接传入TXT文件的路径作为参数，然后就可以通过读取该TXT文件获取到所有需要的文件了。这里的注意点是，路径最好用Application.dataPath（），这样方便在编辑器和打包出的结果中都能使用，在编辑器中它返回的路径就在Asset文件夹中，而打包的结果则在Data文件夹中。
评论 7
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Unity青子

难题的解决使成本节约，求打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值