- 博客(276)
- 资源 (13)
- 收藏
- 关注
RSS订阅
原创 Unity3D一些问题的解决方法
Compute mesh inertia tensor failed for one of the actor's mesh shapes! Please change mesh geometry o
2014-06-19 17:18:44
11531
1
原创 Unity使用sherpa-onnx实现关键词检测
本文介绍了在Unity中使用SherpaOnnx实现关键词识别的方案。通过集成sherpa-onnx-kws-zipformer模型，实现了基于WebGL麦克风输入的实时关键词检测功能。代码展示了如何初始化关键词识别模型、配置音频流参数，并处理音频数据输入和识别结果输出。项目已在GitHub开源，为Unity开发者提供了轻量级的关键词识别解决方案。该方案支持自定义关键词列表，适用于语音交互、语音控制等应用场景。
2025-12-30 09:50:24
326
原创 UnityRenderStreaming多对多丐中丐方案
本文介绍了一种基于WebRTC的实时流媒体传输方案，主要包含以下要点：1）采用前后端分离架构，前端通过WebAPI获取connectionId并启动Unity客户端；2）利用阿里云服务器和本地高性能主机组成混合部署环境，通过Tailscale实现内网穿透；3）详细说明了WebAPI接口实现、跨域处理、ICE服务器配置等关键技术细节；4）重点描述了connectionId的生成传递机制，确保Unity端仅处理指定连接的消息。该方案在有限资源条件下实现了高效的实时流媒体传输，具有成本效益和实用价值。
2025-12-22 11:19:00
326
原创 UnityRenderStreaming内网转发到公网
本文介绍了WebRTC中继服务器coturn的配置与使用。内容包括：1）coturn服务器的配置文件和启动方法；2）WebApp源码编译及配置修改，重点调整ICE服务器设置；3）Unity工程中SignalingManager的URL和ICEServers配置；4）服务器端口开放要求；5）展示了运行效果截图。通过coturn实现NAT穿透，为WebRTC应用提供稳定的媒体中继服务。
2025-12-16 16:25:47
241
原创 Windows下编译coturn
本文介绍了在Windows系统下使用vcpkg和Visual Studio 2022编译coturn的步骤：首先克隆vcpkg并配置环境变量，然后下载coturn源码，通过CMake生成Visual Studio项目文件，最后在VS2022中编译解决方案。整个过程包括环境配置、项目生成和编译三个主要环节，提供了详细的命令和配置参数说明。
2025-12-15 16:10:55
336
原创 Cesium for Unity 去除Cesium Logo
本文介绍了在Windows系统下编译Cesium for Unity插件的完整流程。首先需要安装dotnet 9.0.307和CMake 3.31.9，并启用系统长路径支持。然后克隆cesium-unity仓库到Unity工程的Packages目录，使用dotnet发布项目。接着分别配置Debug和Release版本的CMake构建，通过14线程并行编译安装。文中还提供了解决"IonTokenTroubleshootingWindowImpl.h"头文件缺失问题的方法，以及如何通过修改C
2025-12-08 11:18:24
228
原创 Unity使用RVM实现实时人物视频抠像（无绿幕）
RobustVideoMatting项目实现了视频实时抠图功能，基于ONNX模型推理。项目使用Unity Sentis（现升级为Inference Engine）进行AI推理，包含完整的模型初始化、递归状态管理和图像处理流程。作者尝试了C# onnxruntime方案，但遇到GPU加速效果不佳（仅2fps）的问题。项目支持摄像头输入和静态图像处理，提供了前景、alpha通道和最终结果的输出显示功能，包含性能优化和错误处理机制。关键点包括：ONNX模型加载、CUDA加速配置、递归状态初始化、实时视频帧处理等。
2025-11-05 10:39:10
791
2
原创 Unity使用PP-MattingV2实现人像分割
PP-MattingV2是一个基于ONNX Runtime的高效人像抠图模型，实现了精确的实时图像分割功能。该Unity实现通过CUDA加速推理，支持512x512分辨率的输入，处理流程包括：模型初始化、输入纹理预处理、ONNX推理和后处理。代码提供了完整的处理流程，从加载模型到生成透明背景的人像结果图，并内置性能监控功能。项目支持StreamingAssets路径下的模型加载，可处理外部传入的Texture2D对象，输出抠图后的透明纹理。该方案适用于需要实时人像抠图的Unity应用场景，如虚拟直播、AR特
2025-11-01 18:20:11
286
原创 Unity使用AnimeGANv3实现动漫风格化效果（二）
本文记录了在Unity项目中实现GPU加速ONNX推理的过程。首先修改代码启用CUDA支持，然后安装配置了CUDA Toolkit 12.8和cuDNN 9.0.0.312环境。通过dumpbin工具分析ONNX Runtime的依赖关系，确认需要从CUDA和cuDNN中提取必要的DLL文件（如cublasLt64_12.dll、cudnn64_9.dll等）放入Unity项目的Plugins目录。虽然部分文件过大无法上传至GitHub，但成功通过nuget获取ONNX Runtime相关文件并完成了GPU
2025-10-31 14:59:40
227
原创 Unity使用AnimeGANv3实现动漫风格化效果（一）
本文介绍了在Unity中集成AnimeGANv3模型实现图像动漫化的方法。通过调用ONNX Runtime API加载预训练模型，将输入图像调整至512x512分辨率后传入模型进行推理。关键步骤包括预处理（将像素值归一化到[-1,1]范围）、模型推理和后处理（张量转回纹理）。测试效果图展示了良好的动漫风格转换效果，模型推理速度约数百毫秒。代码提供了完整的实现流程，支持CPU/GPU加速，可用于实时图像风格转换应用开发。
2025-10-31 10:53:40
603
原创 使用sherpa-onnx的热词功能
文章摘要：Sherpa-ONNX目前仅支持基于Transducer模型的离线/在线语音识别系统使用热词（hotwords）功能。文章提供了C#代码示例，展示如何实现一个离线语音识别系统，其中包含热词配置（通过hotwords.txt文件和HotwordsScore参数）。该系统还包括语音增强、标点符号添加等辅助功能，通过Unity的MicrophoneWebGL组件实现音频采集。代码演示了从模型初始化到语音识别结果回调的完整流程。
2025-06-07 10:31:12
982
原创 基于VLC的Unity视频播放器（四）
摘要：作者分享了解决unity-vlc m3u8播放问题的粗暴方法（SetFormat+Stop+Play），确认Android平台播放正常，Ubuntu24.04打包版本闪退问题已解决。项目已迁移至GitHub（https://github.com/xue-fei/vlc-unity），原码云存储空间即将耗尽。
2025-06-03 17:27:15
618
2
原创 Unity使用sherpa-onnx实现说话人识别
本文介绍了使用3dspeaker_speech_eres2net_base_200k_sv_zh-cn_16k-common.onnx模型进行说话人识别的实现方法。代码展示了如何初始化说话人特征提取器（SpeakerEmbeddingExtractor）和管理器（SpeakerEmbeddingManager），包括音频降噪处理、说话人注册和验证测试流程。通过ComputeEmbedding方法计算音频特征向量，使用Search方法进行说话人识别比对。该实现支持实时音频数据输入处理，能够将未知说话人标记为&
2025-05-19 17:30:18
870
原创 Unity打包Android平台调用sherpa-onnx
本文介绍了在Unity中集成Sherpa-ONNX语音识别和合成功能的过程。作者首先在PC端（Windows/Linux）通过NuGet包测试了语音转文字和文字转语音功能。针对Android平台，通过预编译的.so库文件简化集成，避免了繁琐的Java代码编写。文章详细说明了Android打包所需的gradle配置修改，包括忽略模型文件、禁用R8优化等关键设置。最终成功在Android设备上运行，并附上了功能截图。整个方案充分利用了Sherpa-ONNX的跨平台特性，实现了高效的语音功能集成。
2025-03-14 14:31:47
3898
1
原创 Cesium for Unity Linux版本
本文记录了在Linux系统上安装Cesium for Unity的尝试过程。作者按照官方开发流程，使用dotnet和cmake工具进行安装，遇到了一些问题并通过GitHub issue找到解决方案。最终成功运行了编辑器界面，但打包过程耗时较长且出现了一些不明报错。整个过程展示了在Linux平台安装Cesium for Unity的可行性与挑战，为开发者提供了实践经验参考。
2025-02-12 10:11:55
778
2
原创 Unity使用sherpa-onnx实现离线语音合成
本文介绍了在Unity中使用sherpa-onnx实现语音合成的过程。作者通过将相关dll和lib库导入Unity，并修改官方示例代码，成功实现了中文语音合成功能。文章详细展示了配置参数、回调函数处理以及音频保存的实现代码，并分享了测试过程中发现的问题：生成的音频采样率为8000Hz，以及编辑器模式下出现异常尾音（但打包后正常）。此外，作者还添加了测试UI界面，优化为流式AudioClip播放（3秒延迟），并测试了多个模型，发现其他模型的音质优于vits-zh-aishell3。项目代码已开源在Gitee平
2024-05-14 16:14:45
3286
21
原创 使用sherpa-onnx给文字添加标点符号
本文介绍了在C#中实现ONNX标点符号添加功能的过程。作者发现ncnn框架不支持标点添加功能，于是参考ONNX示例实现了C#版本。通过创建OfflinePunctuation类，配置模型参数，并调用外部DLL接口，成功实现了文本标点添加功能。调试过程中遇到编码问题，经指点后通过设置系统UTF-8编码解决。该模型支持中英文混合文本，但默认输出中文标点。完整代码已开源在GitHub仓库中。
2024-05-05 16:00:45
1206
7
原创 UnityWebGL使用sherpa-ncnn实时语音识别
本文介绍了基于Kaldi和ncnn的离线语音识别系统sherpa-ncnn的WebGL实现方案。通过UnityWebSocket插件建立WebSocket连接，将Unity端采集的音频数据实时传输到C#服务器端进行识别处理。服务器使用Fleck框架搭建WebSocket服务，加载sherpa-ncnn模型进行流式语音识别，并将识别结果实时返回客户端。系统支持跨平台部署，包含完整的客户端和服务端实现代码，可用于开发无需互联网连接的实时语音识别应用。
2024-05-01 15:06:19
2249
11
原创 MediaPipeUnityPlugin Win10环境搭建（22年3月的记录，新版本已完全不同，这里只做记录）
MediaPipeUnityPlugin Win10环境搭建（旧版）
2024-01-05 15:25:49
1061
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人