自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

grape_yan的博客

英特尔边缘计算创新大使 百度飞桨开发者技术专家(PPDE) OpenVINO C# API NuGet Package 作者 主要致力于模型部署相关方面的研究,OpenVINO、TensorRT模型部署套件在C#端使用。

  • 博客(110)
  • 收藏
  • 关注

原创 【TensorRTtSharp v4.0】使用 TensorRT CSharp API v4.0 在 C# 中运行 ResNet18 图像分类

本文介绍了如何利用TensorRT CSharp API v4.0进行图像分类任务,主要步骤包括:获取TorchVision ResNet18模型并转换为ONNX格式,使用C#完成与TorchVision一致的图片预处理(resize、center crop、RGB/NCHW转换和ImageNet归一化),通过TensorRT构建和执行推理引擎,生成Top-5分类结果。同时使用同一预处理数据对比ONNX Runtime作为独立参考,确保结果可靠性。文章提供了完整的项目源码和NuGet包链接,强调结果的可验证

2026-08-19 09:41:45 304

原创 【TensorRTtSharp v4.0】TensorRT Callback 生命周期:Logger、Profiler、ProgressMonitor 与 DebugListener

TensorRT Callback 生命周期管理示例展示了四种回调接口在托管与原生环境中的复杂交互。该示例构建1x1卷积网络并执行推理,严格记录Logger、ProgressMonitor、Profiler和DebugListener的真实调用情况。关键挑战在于:1) 保持回调对象在原生调用期间有效;2) 正确清理顺序;3) 验证跨边界数据一致性。示例通过结构化JSON记录调用计数、失败统计和释放顺序,确保不出现悬空指针或异步异常。

2026-08-19 09:39:01 279

原创 【TensorRTtSharp v4.0】使用 TensorRT CSharp API v4.0 实现 CUDA 多流与 Event 同步

TensorRT CSharp API v4.0 的 MultiStream 示例演示了 CUDA Stream 的正确同步机制。该程序通过两个阶段验证并发操作:第一阶段在独立 Stream 上异步处理显存数据;第二阶段通过 Event 建立跨流依赖,确保 Stream B 在读取数据前等待 Stream A 完成写入。程序逐字节校验结果,仅当两种路径均正确时才输出 MultiStream Passed=True。该示例强调 Stream 并发需显式同步(如 Event),否则可能因竞态导致数据错误。文中还

2026-08-18 10:30:00 312

原创 【TensorRTtSharp v4.0】在 C# 中使用 TensorRT CSharp API v4.0 动态编译并运行 CUDA Kernel

CUDA Runtime Compilation 示例展示了如何在运行时动态编译和执行CUDA Kernel。该示例通过两种路径(CUDA Runtime和Driver API)验证了NVRTC编译流程的完整性,包括环境探测、虚拟头文件支持、产物管理、错误处理及结果验证。关键验证点包括:编译确定性(相同输入生成相同PTX)、两种加载路径的正确性(最大误差为0)、以及错误源码的编译失败处理。示例不依赖TensorRT,但通过TensorRT CSharp API提供的CUDA接口实现完整GPU计算流程,确保从

2026-08-18 10:00:00 383

原创 【TensorRTtSharp v4.0】TensorRT Refitted Plan 实战:权重替换、持久化与重新加载

TensorRT CSharp API v4.0 提供的 Refit 功能允许在保持网络结构不变的情况下更新模型权重,而无需重新构建整个 Engine。本文通过一个确定性示例演示了完整的 Refit 生命周期:首先生成两个结构相同的 ONNX 模型(baseline 和 refit),构建并保存 baseline Plan;然后使用 TensorRtRefitter 提交权重更新,保存 refitted Plan;最后重新加载并验证新 Plan 的输出是否符合预期。该功能适用于需要频繁更新权重的场景,但必须

2026-08-17 08:46:18 299

原创 【TensorRTtSharp v4.0】从 ONNX 到 TensorRT Engine:构建、加载与单次推理

本文介绍了TensorRT CSharp API v4.0中的OnnxBuildAndRun示例程序,它展示了如何通过C#/.NET完整执行ONNX模型的TensorRT推理链路。该程序提供两种模式:确定性synthetic Identity模式(无需外部模型)和用户ONNX文件模式,共用同一套TensorRT构建和推理实现。文章详细说明了项目结构、依赖关系(包括核心NuGet包和Runtime Bridge)、运行验证标准(状态输出、enqueue计数和结果校验),并强调该示例仅验证API和GPU执行流程

2026-08-17 08:44:00 523

原创 【TensorRTtSharp v4.0】使用 TensorRT CSharp API 完成 Dynamic Shape 与动态 Batch 推理

本文介绍了如何利用TensorRT CSharp API v4.0构建并运行支持动态输入尺寸的神经网络推理流程。示例通过一个简单的Identity网络演示了动态batch维度的处理,包括构建阶段设置Optimization Profile、运行时绑定变化的输入shape、异步执行及结果校验等关键步骤。文章提供了完整的项目源码链接、NuGet包依赖列表及运行环境配置说明,帮助开发者掌握TensorRT动态shape的核心概念与实现方法,适用于分类、检测等多种实际场景中的变长输入需求。

2026-08-14 10:30:00 304

原创 【TensorRTtSharp v4.0】使用 TensorRT CSharp API 管理推理输入、显存绑定与 GPU 输出读回

本文介绍了TensorRT CSharp API v4.0的使用方法,重点讲解了如何通过C#/.NET完成TensorRT Engine的构建、推理绑定和执行流程验证。项目提供了托管API来管理TensorRT Engine生命周期、CUDA内存操作和异步流同步,示例使用Identity网络演示了完整的推理流程:从环境准备、网络构建、输入输出绑定到GPU执行和结果校验。 关键点: 项目封装了TensorRT/CUDA的底层操作,提供安全的C# API接口

2026-08-14 00:13:37 359

原创 【TensorRTtSharp v4.0】TensorRT CSharp API v4.0 正式发布:面向 .NET 的 TensorRT 与 CUDA 全新重构

TensorRT CSharp API v4.0.0 是一次全面重构后的正式版本,提供了更清晰的托管对象模型、更严格的资源管理和更灵活的版本适配。通过 NuGet 分发的托管包和 Bridge 包,开发者可以快速集成 TensorRT 到 .NET 项目中,同时保持对底层 GPU 资源的精确控制。

2026-08-13 10:00:00 321

原创 【TensorRTtSharp v4.0】TensorRT CSharp API v4.0 系列案例总览与学习路线

TensorRT CSharp API v4.0提供了一套完整的C#接口,将TensorRT与CUDA功能封装为可工程化的解决方案。项目包含8个循序渐进的学习案例,涵盖从CUDA基础操作到真实图像分类的全流程。每个案例保持小而专注,通过公开的NuGet包构建,要求用户自行安装NVIDIA运行环境。项目强调结果验证,要求明确区分帮助输出、合成测试与真实模型运行结果,确保每个案例都可独立验证。源码和文档已在GitHub开源,适用于需要将TensorRT集成到.NET应用的开发者。

2026-08-13 10:00:00 321

原创 OpenVINO C# API 3.3.1:支持OpenVINO 2026.3及GenAI增强

OpenVINO C# API 3.3.1正式适配OpenVINO 2026.3,主要更新包括:1. 提供平滑升级路径,Core推理API保持兼容,现有图像分类、目标检测等模型无需修改代码即可使用;2. 增强GenAI支持,新增ChatHistory管理VLM多轮对话,同时保持GenAI作为可选模块;3. 简化部署,通过NuGet自动管理runtime依赖,支持Windows、Linux和macOS多平台。开发者需注意:保持托管包与runtime版本一致,检查硬件驱动兼容性,GenAI项目建议迁移至新版Ch

2026-08-11 10:49:07 339

原创 OpenVINO™ C# API 3.3 全新发布!正式接入 OpenVINO GenAI,C# 本地大模型开发全面启航!

OpenVINO™ C# API 3.3 正式发布!本次版本正式接入 OpenVINO GenAI,让 C#/.NET 项目可以直接调用本地 LLM、Whisper 语音识别和 VLM 图文问答能力。传统推理继续稳定支持,GenAI runtime 按需引入,覆盖 net46 到 net10.0,更适合桌面、工业、内网和边缘 AI 应用落地。

2026-06-11 09:37:12 281

原创 OpenVINO C# API 中文README.md

OpenVINO C# API是英特尔OpenVINO工具的.NET封装库,支持C#开发者在Windows、Linux、macOS上高效运行深度学习模型推理。最新3.2版本优化了AI大模型支持,修复了已知问题,并完善了测试代码。该库具有高性能(零拷贝内存)、跨平台、异步推理和多设备支持(CPU/iGPU/GPU/NPU)等优势,适用于目标检测、图像分类、OCR等多种场景。开发者可通过NuGet快速安装,提供完整API文档和案例源码,支持.NET 4.6到.NET 10.0多个框架版本。

2026-02-24 14:49:05 850

原创 OpenVINO™ C# API 3.2 全新发布,基于 AI 大模型的全栈重构,全面进化!

OpenVINO™ C# API 3.2 全新发布,基于AI大模型深度重构,带来革命性升级: 🔹 AI驱动重构 - 基于Kimi/GPT-4等大模型全面优化代码架构,提升健壮性 🔹 性能飞跃 - 采用Span<T>零拷贝和推理请求池,推理速度提升20-40% 🔹 全栈支持 - 兼容.NET 4.6至10.0框架,覆盖Windows/Linux/macOS全平台 🔹 企业级特性 - 新增异步推理、模型缓存、结构化日志等15+实用功能 🔹 质量保障 - 150+单元测试和30+集成测试,代

2026-02-24 14:39:51 1130

原创 DeploySharp 0.0.8 震撼升级!支持PP-OCR v4/v5 全系列模型极速推理,开源免费且多平台支持,RTX 3060 上狂飙至 23ms!我的项目我做主,从此加速不求人。

DeploySharp 0.0.8 震撼发布!这是一款专为 .NET 开发者打造的开源免费跨平台模型部署框架,全新支持 PP-OCR v4/v5 全系列模型,涵盖文本检测、方向分类、文字识别完整流程。框架打通了 OpenVINO、TensorRT、ONNX Runtime 三大主流推理引擎,同一段代码即可自由切换,在 RTX 3060 上推理速度狂飙至 23ms。无论你用 Intel CPU、NVIDIA 显卡还是其他硬件,都能获得极致性能。文章还提供了详细的性能对比数据、控制台和桌面应用 Demo 演示,

2026-02-05 10:00:00 1825 1

原创 【DeploySharp】 使用 JYPPX.DeploySharp 高效部署 PaddleOCR,解锁多种高性能 OCR 文字识别方案

本文介绍了基于DeploySharp框架在.NET环境下部署PaddleOCR模型的解决方案。该框架通过统一接口封装了OpenVINO、TensorRT、ONNX Runtime等多种推理引擎,支持百毫秒级文字识别。文章详细解析了PaddleOCR三阶段工作流程(检测-分类-识别)及性能优化策略,阐述了DeploySharp"统一接口、灵活部署"的架构优势。演示程序支持多种推理后端,涵盖CPU/GPU不同硬件场景,提供模型加载、图片推理、性能测试等功能。通过该方案,开发者可根据实际硬件环

2026-01-29 10:00:00 758

原创 DeploySharp 全面支持 YOLO26 系列,助力开发者快速部署落地应用

DeploySharp是一个专为C#开发者设计的跨平台模型部署框架,全面支持YOLOv26系列模型,包括目标检测、实例分割、姿态估计和旋转框检测。该框架提供多引擎支持(OpenVINO/ONNX Runtime/TensorRT)、两种图像处理库选择(ImageSharp/OpenCvSharp)以及跨平台运行时兼容性。通过模块化架构和NuGet包生态,开发者可以快速部署YOLOv26模型,实现从模型加载到推理执行的端到端解决方案。项目开源且支持多种硬件设备,为计算机视觉应用落地提供高效工具。

2026-01-19 22:34:17 918

原创 TensorRtSharp:在 C# 世界中释放 GPU 推理的极致性能

TensorRtSharp 3.0 是一个为 C# 开发者打造的 TensorRT 封装库,通过 NuGet 一键安装,提供完整的 GPU 推理加速功能。该库基于 TensorRT 10.x 开发,支持 CUDA 11/12,具备类型安全、自动资源管理等特性,显著提升 .NET 环境下的深度学习推理性能(速度提升 2-10 倍,显存降低 50%+)。安装简单,只需添加两个 NuGet 包,并通过环境变量配置原生库路径即可使用。推荐配置为 CUDA 11.6 + TensorRT 10.13.0.35,支持

2026-01-10 14:57:22 915

原创 【DeploySharp 】基于DeploySharp 的深度学习模型部署测试平台:安装和使用流程

本文介绍了基于DeploySharp开发的深度学习模型部署测试平台的使用方法。该平台支持YOLO系列模型(v5-v13)及多种应用场景,提供OpenVINO和ONNX Runtime两种推理引擎,支持CPU/GPU/NPU等多种设备。文章详细说明了程序下载方式、模型选择、推理引擎配置以及设备匹配关系,并展示了不同推理方式(OpenVINO原生、ONNX Runtime及其加速方案)的运行示例。最后提供了常见问题的解决方法和技术支持渠道。

2025-10-03 15:13:15 1162

原创 【DeploySharp】基于DeploySharp 的深度学习模型部署测试平台:支持YOLO全系列模型

摘要:基于DeploySharp开发的深度学习模型部署测试平台支持YOLOv5~v13系列模型,涵盖检测、分割、目标框和姿态估计等任务。平台提供OpenVINO和ONNX Runtime引擎,支持CPU、IGPU和GPU设备推理。项目提供.NET 6.0和.NET Framework 4.8版本,并展示了不同模型在不同硬件上的FPS性能测试结果。详细项目信息和性能数据可参考GitHub仓库链接。

2025-10-03 14:39:57 941

原创 【DeploySharp】DeploySharp开源发布:让C#部署深度学习模型更加简单

DeploySharp:面向C#开发者的跨平台模型部署框架 DeploySharp是一款专为C#开发者设计的深度学习模型部署框架,支持OpenVINO和ONNX Runtime推理引擎,兼容YOLOv5-v12全系列模型以及Anomalib等主流模型。该框架采用模块化设计,通过核心命名空间DeploySharp集成模型加载、推理执行等功能,支持图像分类/检测/分割等任务。

2025-10-02 22:47:26 1411

原创 【OpenVINO™】使用OpenVIN.CSharp.API在C#平台快速部署PP-OCRv5模型识别文本

PP-OCRv5是百度开源的高效OCR系统,通过轻量化SLANet网络提速20%,优化多尺度特征融合提升小文本识别,支持80+语言,显著降低复杂场景错误率,适用于移动端/服务器端部署。在本文中,将演示如何使用的**OpenVINO.CSharp.API.Extensions.PaddleOCR** NuGet Package快速在Intel CPU平台落地PP-OCRv5模型

2025-06-15 11:45:27 1628

原创 【OpenVINO™】在英特尔® 酷睿™ Ultra AI PC 上使用OpenVINO™ GenAI部署多种图像生成模型快速实现文生图功能

全新英特尔酷睿Ultra 200V系列处理器对比上代Meteor Lake,升级了模块化结构、封装工艺,采用全新性能核与能效核、英特尔硬件线程调度器、Xe2微架构锐炫GPU、第四代NPU…由此也带来了CPU性能提升18%,GPU性能提升30%,整体功耗降低50%,以及120TOPS平台AI算力。酷睿Ultra 200V系列处理器共有9款SKU,包括1款酷睿Ultra 9、4款酷睿Ultra 7以及4款酷睿Ultra 5,全系8核心8线程(4个性能核与4个能效核),具体规格如下。

2025-04-04 09:30:00 1382

原创 【OpenVINO™】在 Intel Ultra AI PC 设备上使用 OpenVINO™ C# API本地部署YOLOv11与YOLOv12

将使用英特尔® 酷睿™ Ultra 处理器AI PC设备,结合OpenVINO™ C# API 使用最新发布的OpenVINO™ 2025.0 部署YOLOv11 和 YOLOv12 目标检测模型,并在AIPC设备上,进行速度测试。

2025-03-02 16:49:57 2109 1

原创 【OpenVINO™】使用 OpenVINO™ GenAI 部署大语言模型快速构建一个Chat实例

英特尔发行版 OpenVINO™ 工具套件基于 oneAPI 而开发,可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件,适用于从边缘到云的各种英特尔平台上,帮助用户更快地将更准确的真实世界结果部署到生产系统中。通过简化的开发工作流程,OpenVINO™ 可赋能开发者在现实世界中部署高性能应用程序和算法。

2024-08-05 10:00:00 2089 2

原创 【OpenVINO™】YOLOv10在CPU上也能实现50+FPS推理—使用OpenVINO C++部署YOLOv10

在本文中,我们将演示如何使用Intel OpenVINO™ C++ API 部署YOLOv10目标检测模型,并使用 OpenVINO™ 异步推理接口实现模型推理加速。下面看一下YOLOv10模型在OpenVINO™上的运行效果吧

2024-07-05 09:30:00 2232 5

原创 【TensorRT】TensorRT C# API 项目更新 (2):优化安装方式和代码

我们对内容进行了更新,主要更新了一下内容:- 项目配置方式:简化了项目配置流程,安装好相关依赖后,用户只需要下载代码文件便可以运行,无需再进行项目配置;- 优化了推理方式:优化了底层推理接口,使模型推理更加稳定。

2024-06-24 20:23:04 2360 7

原创 【OpenVINO™】使用 OpenVINO™ C# 异步推理接口部署YOLOv8 ——在Intel IGPU 上速度依旧飞起!!

OpenVINO Runtime支持同步或异步模式下的推理。Async API的主要优点是,当设备忙于推理时,应用程序可以并行执行其他任务(例如,填充输入或调度其他请求),而不是等待当前推理首先完成。 当我们使用异步API时,第二个请求的传输与第一个推理的执行重叠,这防止了任何硬件空闲时间。

2024-06-20 15:56:35 1820

原创 【OpenVINO™】使用 OpenVINO™ C++ 异步推理接口部署YOLOv8 ——在Intel IGPU 上实现80+FPS视频推理

以YOLOv8模型为例,对比了OpenVINO分别使用同步推理接口以及异步推理接口的推理速度情况。其中同步推理一帧平均推理时间为43.02毫秒,而异步接口一帧平均推理时间仅为11.37毫秒,异步接口一秒钟平均可以实现87.98FPS的推理,是同步推理的3.78倍,速度快到飞起!

2024-06-13 15:14:15 3204

原创 Segment Anything CSharp| 在 C# 中通过 OpenVINO™ 部署 SAM 模型实现万物分割

​ OpenVINO™ C# API 是一个 OpenVINO™ 的 .Net wrapper,应用最新的 OpenVINO™ 库开发,通过 OpenVINO™ C API 实现 .Net 对 OpenVINO™ Runtime 调用.Segment Anything Model(SAM)是一个基于Transformer的深度学习模型,主要应用于图像分割领域。在本文中,我们将演示如何在C#中使用OpenVINO™部署 Segment Anything Model 实现任意目标分割。

2024-06-06 13:18:13 1556 1

原创 【YOLOv10】使用 TensorRT C++ API 调用GPU加速部署 YOLOv10 实现 500FPS 推理速度——快到飞起!

NVIDIA ® TensorRT ™ 是一款用于高性能深度学习推理的 SDK,包含深度学习推理优化器和运行时,可为推理应用程序提供低延迟和高吞吐量。YOLOv10是清华大学研究人员近期提出的一种实时目标检测方法,通过消除NMS、优化模型架构和引入创新模块等策略,在保持高精度的同时显著降低了计算开销,为实时目标检测领域带来了新的突破。> 在本文中,我们将演示如何使用NVIDIA TensorRT C++ API 部署YOLOv10目标检测模型,实现模型推理加速。

2024-06-04 14:54:28 4522 1

原创 【OpenVINO™】在C#中使用 OpenVINO™ 部署 YOLOv10 模型实现目标

最近YOLO家族又添新成员:YOLOv10,YOLOv10 提出了一种一致的双任务方法,用于无nms训练的YOLOs,它同时带来了具有竞争力的性能和较低的推理延迟。此外,还介绍了整体效率-精度驱动的模型设计策略,从效率和精度两个角度对YOLOs的各个组成部分进行了全面优化,大大降低了计算开销,增强了性能。在本文中,我们将结合OpenVINO™ C# API 使用最新发布的OpenVINO™ 2024.1部署YOLOv10 目标检测模型

2024-05-27 15:21:51 2546 2

原创 使用OpenVINO™.CSharp.API.Extensions.PaddleOCR NuGet Package快速实现OCR文本识别

PP-OCR是PaddleOCR自研的实用的超轻量OCR系统,可以实现端到端的图像文本检测。为了在C#平台实现使用OpenVINO™部署PP-OCR模型实现文本识别,让更多开发者快速上手PP-OCR项目,基于此,封装了OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package,方便开发者快速安装使用。在本文中,我们将结合OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package向大家展示该程序集的使用方式。

2024-05-20 11:39:14 1552

原创 【OpenVINO™】在 C# 中使用OpenVINO™ 部署PP-YOLOE实现物体检测

PP-YOLOE是基于PP-YOLOv2的优秀单级无锚模型,超越了各种流行的YOLO模型。PP-YOLOE有一系列型号,命名为s/m/l/x,通过宽度乘数和深度乘数进行配置。PP-YOLOE避免使用特殊的运算符,如可变形卷积或矩阵NMS,以便友好地部署在各种硬件上。 在本文中,我们将使用OpenVINO™ C# API 部署 PP-YOLOE实现物体检测。

2024-05-13 10:22:12 858

原创 【OpenVINO™】在 C# 中使用OpenVINO™ 部署 YOLO-World 模型实现实时开放词汇对象检测

YOLO-World是一个融合了实时目标检测与增强现实(AR)技术的创新平台,旨在将现实世界与数字世界无缝对接。该平台以YOLO(You Only Look Once)算法为核心,实现了对视频中物体的快速准确识别,并通过AR技术将虚拟元素与真实场景相结合,为用户带来沉浸式的交互体验。在本文中,我们将结合OpenVINO™ C# API 使用最新发布的OpenVINO™ 2024.0部署 YOLO-World实现实时开放词汇对象检测.

2024-05-06 10:52:13 2263

原创 【OpenVINO™】在 C# 中使用 OpenVINO™ 部署 Blazeface 模型快速实现人脸检测

Blazeface模型是Google推出的一款专为移动GPU推理量身定制的轻量级且性能卓越的人脸检测器。在本文中,我们将使用OpenVINO™ C# API 部署 Blazeface 实现人脸检测。

2024-05-06 10:45:23 1149

原创 【YoloDeployCsharp】基于.NET Framework的YOLO深度学习模型部署测试平台-源码下载与项目配置

基于.NET Framework 4.8 开发的深度学习模型部署测试平台,提供了YOLO框架的主流系列模型,包括YOLOv8~v9,以及其系列下的Det、Seg、Pose、Obb、Cls等应用场景,同时支持图像与视频检测。模型部署引擎使用的是OpenVINO™、TensorRT、ONNX runtime以及OpenCV DNN,支持CPU、IGPU以及GPU多种设备推理

2024-05-05 15:01:25 1869

原创 【YoloDeployCsharp】基于.NET Framework的YOLO深度学习模型部署测试平台

基于.NET Framework 4.8 开发的深度学习模型部署测试平台,提供了YOLO框架的主流系列模型,包括YOLOv8~v9,以及其系列下的Det、Seg、Pose、Obb、Cls等应用场景,同时支持图像与视频检测。模型部署引擎使用的是OpenVINO™、TensorRT、ONNX runtime以及OpenCV DNN,支持CPU、IGPU以及GPU多种设备推理。

2024-05-04 17:09:09 2783 4

原创 【OpenVINO™】使用 OpenVINO™ C# API 部署 YOLOv9 目标检测和实例分割模型(下篇)

YOLOv9模型是YOLO系列实时目标检测算法中的最新版本,代表着该系列在准确性、速度和效率方面的又一次重大飞跃。在本文中,我们将结合OpenVINO™ C# API 使用最新发布的OpenVINO™ 2024.0部署YOLOv9 目标检测和实例分割模型。

2024-04-11 10:01:45 1612 4

原创 【OpenVINO™】使用 OpenVINO™ C# API 部署 YOLOv9 目标检测和实例分割模型(上篇)

YOLOv9模型是YOLO系列实时目标检测算法中的最新版本,代表着该系列在准确性、速度和效率方面的又一次重大飞跃。在本文中,我们将结合OpenVINO™ C# API 使用最新发布的OpenVINO™ 2024.0部署YOLOv9 目标检测和实例分割模型。

2024-04-11 10:00:07 1681 3

使用OpenVINO C++ 异步接口部署YOLOv10-在CPU上也能部署YOLOv10实现50+FPS推理-模型源码与依赖

英特尔发行版 OpenVINO 工具套件基于 oneAPI 而开发,可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件,适用于从边缘到云的各种英特尔平台上,帮助用户更快地将更准确的真实世界结果部署到生产系统中。YOLOv10是清华大学研究人员近期提出的一种实时目标检测方法,通过消除NMS、优化模型架构和引入创新模块等策略,在保持高精度的同时显著降低了计算开销,为实时目标检测领域带来了新的突破。 在本代码中,我们将演示如何使用Intel OpenVINO C++ API 部署YOLOv10目标检测模型,并使用 OpenVINO 异步推理接口实现模型推理加速。 量化前后,模型推理速度提升了1.5倍,并且通过使用异步推理接口,经过IN8量化后的模型,在本设备上可以实现50FPS的推理速度,与为量化的模型相比,速度推升了2.8倍。通过异步接口,我们可以在CPU下轻松的实现视频推理。 文件总提供了代码文件、所使用的所有依赖、测试文件以及量化后的模型,开发者下载即可使用。

2024-06-23

OpenVINO CSharp 异步推理接口部署YOLOv8 代码

OpenVINO Runtime支持同步或异步模式下的推理。Async API的主要优点是,当设备忙于推理时,应用程序可以并行执行其他任务(例如,填充输入或调度其他请求),而不是等待当前推理首先完成。 当我们使用异步API时,第二个请求的传输与第一个推理的执行重叠,这防止了任何硬件空闲时间。 代码中将会演示如何使用OpenVINO异步接口在C#中部署YOLOv8 实现视频快速推理。其中同步推理一帧平均推理时间为48.23毫秒,而异步接口一帧平均推理时间仅为15.49毫秒,异步接口一秒钟平均可以实现64.56FPS的推理,是同步推理的3.11倍,速度快到飞起!

2024-06-20

OpenVINO C++ 异步推理接口部署YOLOv8 代码

OpenVINO Runtime支持同步或异步模式下的推理。Async API的主要优点是,当设备忙于推理时,应用程序可以并行执行其他任务(例如,填充输入或调度其他请求),而不是等待当前推理首先完成。 当我们使用异步API时,第二个请求的传输与第一个推理的执行重叠,这防止了任何硬件空闲时间。本视频中,我们以YOLOv8模型为例,对比了OpenVINO分别使用同步推理接口以及异步推理接口的推理速度情况。 其中同步推理一帧平均推理时间为43.02毫秒,而异步接口一帧平均推理时间仅为11.37毫秒,异步接口一秒钟平均可以实现87.98FPS的推理,是同步推理的3.78倍,速度快到飞起!!

2024-06-12

使用TensorRT C++部署YOLOv10实现GPU加速-C++源码与模型

NVIDIA TensorRT 是一款用于高性能深度学习推理的 SDK,包含深度学习推理优化器和运行时,可为推理应用程序提供低延迟和高吞吐量。YOLOv10是清华大学研究人员近期提出的一种实时目标检测方法,通过消除NMS、优化模型架构和引入创新模块等策略,在保持高精度的同时显著降低了计算开销,为实时目标检测领域带来了新的突破。 该代码将演示如何使用NVIDIA TensorRT C++ API 部署YOLOv10目标检测模型,实现模型推理加速。经过测试,推理可以实现2ms所有,全流程包含前后处理仅有15ms左右。 此处提供了项目源码以及模型文件。

2024-06-04

在Linux上使用OpenCvSharp 测试代码

该文件主要是配套《在Linux上使用OpenCvSharp》文章的代码资源,大家可以自行下载使用,或者自行根据代码编译即可。

2024-01-31

在 MacOS 上编译OpenVINO C++ 项目测试代码

该文件主要是配套《在 MacOS 上编译OpenVINO C++ 项目测试代码》文章的代码资源,大家可以自行下载使用,或者自行根据代码编译即可。

2024-01-03

在 Mac OS 上使用 OpemCvSharp 测试代码

该文件主要是配套《在 Mac OS 上使用 OpemCvSharp 测试代码》文章的代码资源,大家可以自行下载使用,或者自行根据代码编译即可。

2024-01-03

在Mac OS上使用EmguCV 测试代码

该文件主要是配套《在Mac OS上使用EmguCV 测试代码》文章的代码资源,大家可以自行下载使用,或者自行根据代码编译即可。

2024-01-02

在MacOS上源码编译OpenCV测试代码

该文件主要是配套《在MacOS上源码编译OpenCV》文章的代码资源,大家可以自行下载使用,或者自行根据代码编译即可。

2024-01-02

flowers102数据集用于分类模型训练

flowers102数据集用于分类模型训练,flower102数据集链接地址为:http://www.robots.ox.ac.uk/~vgg/data/flowers/102/,如果下载太慢可以在此处下载

2022-11-04

ResNet50训练模型(flowers102数据集)-paddle-onnx-ir-engine

ResNet50分类训练模型,使用flowers102数据集利用paddlepaddle平台训练,此处包含paddle、onnx、ir、engine四种格式模型文件,可以在Paddle Inference\OpenVINO、NVIDIA TensorRT以及ONNX runtime等部署平台使用。

2022-11-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除