椒颜皮皮虾྅-CSDN博客

原创【OpenVINO™】使用 OpenVINO™ GenAI 部署大语言模型快速构建一个Chat实例

英特尔发行版 OpenVINO™ 工具套件基于 oneAPI 而开发，可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件，适用于从边缘到云的各种英特尔平台上，帮助用户更快地将更准确的真实世界结果部署到生产系统中。通过简化的开发工作流程，OpenVINO™ 可赋能开发者在现实世界中部署高性能应用程序和算法。

2024-08-05 10:00:00 1023 1

原创【OpenVINO™】YOLOv10在CPU上也能实现50+FPS推理—使用OpenVINO C++部署YOLOv10

在本文中，我们将演示如何使用Intel OpenVINO™ C++ API 部署YOLOv10目标检测模型，并使用 OpenVINO™ 异步推理接口实现模型推理加速。下面看一下YOLOv10模型在OpenVINO™上的运行效果吧

2024-07-05 09:30:00 1426 4

原创【TensorRT】TensorRT C# API 项目更新 (2)：优化安装方式和代码

我们对内容进行了更新，主要更新了一下内容：- 项目配置方式：简化了项目配置流程，安装好相关依赖后，用户只需要下载代码文件便可以运行，无需再进行项目配置；- 优化了推理方式：优化了底层推理接口，使模型推理更加稳定。

2024-06-24 20:23:04 1220 5

原创【OpenVINO™】使用 OpenVINO™ C# 异步推理接口部署YOLOv8 ——在Intel IGPU 上速度依旧飞起！！

OpenVINO Runtime支持同步或异步模式下的推理。Async API的主要优点是，当设备忙于推理时，应用程序可以并行执行其他任务（例如，填充输入或调度其他请求），而不是等待当前推理首先完成。当我们使用异步API时，第二个请求的传输与第一个推理的执行重叠，这防止了任何硬件空闲时间。

2024-06-20 15:56:35 1077

原创【OpenVINO™】使用 OpenVINO™ C++ 异步推理接口部署YOLOv8 ——在Intel IGPU 上实现80+FPS视频推理

以YOLOv8模型为例，对比了OpenVINO分别使用同步推理接口以及异步推理接口的推理速度情况。其中同步推理一帧平均推理时间为43.02毫秒，而异步接口一帧平均推理时间仅为11.37毫秒，异步接口一秒钟平均可以实现87.98FPS的推理，是同步推理的3.78倍，速度快到飞起！

2024-06-13 15:14:15 1698

原创 Segment Anything CSharp| 在 C# 中通过 OpenVINO™ 部署 SAM 模型实现万物分割

OpenVINO™ C# API 是一个 OpenVINO™ 的 .Net wrapper，应用最新的 OpenVINO™ 库开发，通过 OpenVINO™ C API 实现 .Net 对 OpenVINO™ Runtime 调用.Segment Anything Model（SAM）是一个基于Transformer的深度学习模型，主要应用于图像分割领域。在本文中，我们将演示如何在C#中使用OpenVINO™部署 Segment Anything Model 实现任意目标分割。

2024-06-06 13:18:13 1071

原创【YOLOv10】使用 TensorRT C++ API 调用GPU加速部署 YOLOv10 实现 500FPS 推理速度——快到飞起！

NVIDIA ® TensorRT ™ 是一款用于高性能深度学习推理的 SDK，包含深度学习推理优化器和运行时，可为推理应用程序提供低延迟和高吞吐量。YOLOv10是清华大学研究人员近期提出的一种实时目标检测方法，通过消除NMS、优化模型架构和引入创新模块等策略，在保持高精度的同时显著降低了计算开销，为实时目标检测领域带来了新的突破。> 在本文中，我们将演示如何使用NVIDIA TensorRT C++ API 部署YOLOv10目标检测模型，实现模型推理加速。

2024-06-04 14:54:28 2480

原创【OpenVINO™】在C#中使用 OpenVINO™ 部署 YOLOv10 模型实现目标

最近YOLO家族又添新成员：YOLOv10，YOLOv10 提出了一种一致的双任务方法，用于无nms训练的YOLOs，它同时带来了具有竞争力的性能和较低的推理延迟。此外，还介绍了整体效率-精度驱动的模型设计策略,从效率和精度两个角度对YOLOs的各个组成部分进行了全面优化，大大降低了计算开销，增强了性能。在本文中，我们将结合OpenVINO™ C# API 使用最新发布的OpenVINO™ 2024.1部署YOLOv10 目标检测模型

2024-05-27 15:21:51 1555

原创使用OpenVINO™.CSharp.API.Extensions.PaddleOCR NuGet Package快速实现OCR文本识别

PP-OCR是PaddleOCR自研的实用的超轻量OCR系统，可以实现端到端的图像文本检测。为了在C#平台实现使用OpenVINO™部署PP-OCR模型实现文本识别，让更多开发者快速上手PP-OCR项目，基于此，封装了OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package，方便开发者快速安装使用。在本文中，我们将结合OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package向大家展示该程序集的使用方式。

2024-05-20 11:39:14 991

原创【OpenVINO™】在 C# 中使用OpenVINO™ 部署PP-YOLOE实现物体检测

PP-YOLOE是基于PP-YOLOv2的优秀单级无锚模型，超越了各种流行的YOLO模型。PP-YOLOE有一系列型号，命名为s/m/l/x，通过宽度乘数和深度乘数进行配置。PP-YOLOE避免使用特殊的运算符，如可变形卷积或矩阵NMS，以便友好地部署在各种硬件上。在本文中，我们将使用OpenVINO™ C# API 部署 PP-YOLOE实现物体检测。

2024-05-13 10:22:12 620

原创【OpenVINO™】在 C# 中使用OpenVINO™ 部署 YOLO-World 模型实现实时开放词汇对象检测

YOLO-World是一个融合了实时目标检测与增强现实（AR）技术的创新平台，旨在将现实世界与数字世界无缝对接。该平台以YOLO（You Only Look Once）算法为核心，实现了对视频中物体的快速准确识别，并通过AR技术将虚拟元素与真实场景相结合，为用户带来沉浸式的交互体验。在本文中，我们将结合OpenVINO™ C# API 使用最新发布的OpenVINO™ 2024.0部署 YOLO-World实现实时开放词汇对象检测.

2024-05-06 10:52:13 1509

原创【OpenVINO™】在 C# 中使用 OpenVINO™ 部署 Blazeface 模型快速实现人脸检测

Blazeface模型是Google推出的一款专为移动GPU推理量身定制的轻量级且性能卓越的人脸检测器。在本文中，我们将使用OpenVINO™ C# API 部署 Blazeface 实现人脸检测。

2024-05-06 10:45:23 701

原创【YoloDeployCsharp】基于.NET Framework的YOLO深度学习模型部署测试平台-源码下载与项目配置

基于.NET Framework 4.8 开发的深度学习模型部署测试平台，提供了YOLO框架的主流系列模型，包括YOLOv8~v9，以及其系列下的Det、Seg、Pose、Obb、Cls等应用场景，同时支持图像与视频检测。模型部署引擎使用的是OpenVINO™、TensorRT、ONNX runtime以及OpenCV DNN，支持CPU、IGPU以及GPU多种设备推理

2024-05-05 15:01:25 1255

原创【YoloDeployCsharp】基于.NET Framework的YOLO深度学习模型部署测试平台

基于.NET Framework 4.8 开发的深度学习模型部署测试平台，提供了YOLO框架的主流系列模型，包括YOLOv8~v9，以及其系列下的Det、Seg、Pose、Obb、Cls等应用场景，同时支持图像与视频检测。模型部署引擎使用的是OpenVINO™、TensorRT、ONNX runtime以及OpenCV DNN，支持CPU、IGPU以及GPU多种设备推理。

2024-05-04 17:09:09 1619 3

原创【OpenVINO™】使用 OpenVINO™ C# API 部署 YOLOv9 目标检测和实例分割模型（下篇）

YOLOv9模型是YOLO系列实时目标检测算法中的最新版本，代表着该系列在准确性、速度和效率方面的又一次重大飞跃。在本文中，我们将结合OpenVINO™ C# API 使用最新发布的OpenVINO™ 2024.0部署YOLOv9 目标检测和实例分割模型。

2024-04-11 10:01:45 1219 4

原创【OpenVINO™】使用 OpenVINO™ C# API 部署 YOLOv9 目标检测和实例分割模型（上篇）

YOLOv9模型是YOLO系列实时目标检测算法中的最新版本，代表着该系列在准确性、速度和效率方面的又一次重大飞跃。在本文中，我们将结合OpenVINO™ C# API 使用最新发布的OpenVINO™ 2024.0部署YOLOv9 目标检测和实例分割模型。

2024-04-11 10:00:07 1304 2

原创【TensorRT】TensorRT C# API 项目更新 (1)：支持动态Bath输入模型推理（下篇）

开发了TensorRT C# API 2.0版本，该版本在开发时充分考虑了上一版本应用时出现的问题，并进行了改进。为了更加方便开发者使用，在本次更新中增加了对动态输入模型的支持，将在本技术文中详细介绍本次更新内容以及应用案例。

2024-04-10 09:19:00 1318

原创【TensorRT】TensorRT C# API 项目更新 (1)：支持动态Bath输入模型推理（上篇）

开发了TensorRT C# API 2.0版本，该版本在开发时充分考虑了上一版本应用时出现的问题，并进行了改进。为了更加方便开发者使用，在本次更新中增加了对动态输入模型的支持，将在本技术文中详细介绍本次更新内容以及应用案例。

2024-04-10 09:13:57 882

原创【TensorRT】TensorRT C# API 项目介绍：基于C#与TensorRT部署深度学习模型（下篇）

开发了TensorRT C# API 2.0版本，该版本在开发时充分考虑了上一版本应用时出现的问题，并进行了改进。同时在本版本中，我们对接口进行了优化，使用起来更加简单，并同时提供了相关的应用案例，方便开发者进行使用。

2024-04-01 13:09:32 1196

原创【TensorRT】TensorRT C# API 项目介绍：基于C#与TensorRT部署深度学习模型（上篇）

开发了TensorRT C# API 2.0版本，该版本在开发时充分考虑了上一版本应用时出现的问题，并进行了改进。同时在本版本中，我们对接口进行了优化，使用起来更加简单，并同时提供了相关的应用案例，方便开发者进行使用。

2024-04-01 13:08:49 1837

原创【OpenCV】 OpenCV (C++) 与 OpenCvSharp (C#) 之间数据通信

但是在实际使用中，由于涉及到不同编程语言之间互相调用，导致C++ 中的OpenCV与C#中的OpenCvSharp 图像数据在不同编程语言之间难以有效传递。在本文中我们将结合OpenCvSharp源码实现原理，探究两种数据之间的通信方式。

2024-03-27 13:04:35 1962 3

原创【OpenVINO™】在 MacOS 上使用 OpenVINO™ C# API 部署 Yolov5 （下篇）

YOLOv5 是革命性的 "单阶段"对象检测模型的第五次迭代，旨在实时提供高速、高精度的结果，是世界上最受欢迎的视觉人工智能模型，代表了Ultralytics对未来视觉人工智能方法的开源研究，融合了数千小时研发中积累的经验教训和最佳实践。同时官方发布的模型已经支持 OpenVINO™ 部署工具加速模型推理，因此在该项目中，我们将结合之前开发的 OpenVINO™ C# API 部署 YOLOv5 DET 模型实现物体对象检测。

2024-02-06 11:42:21 1616

原创【OpenVINO™】在 MacOS 上使用 OpenVINO™ C# API 部署 Yolov5 （上篇）

YOLOv5 是革命性的 "单阶段"对象检测模型的第五次迭代，旨在实时提供高速、高精度的结果，是世界上最受欢迎的视觉人工智能模型，代表了Ultralytics对未来视觉人工智能方法的开源研究，融合了数千小时研发中积累的经验教训和最佳实践。同时官方发布的模型已经支持 OpenVINO™ 部署工具加速模型推理，因此在该项目中，我们将结合之前开发的 OpenVINO™ C# API 部署 YOLOv5 DET 模型实现物体对象检测。

2024-02-06 11:38:19 1387

原创【OpenVINO™】在 Windows 上使用 OpenVINO™ C# API 部署 Yolov8-obb 实现任意方向的目标检测

YOLOv8 OBB 模型是YOLOv8系列模型最新推出的任意方向的目标检测模型，可以检测任意方向的对象，大大提高了物体检测的精度。同时官方发布的模型已经支持 OpenVINO™ 部署工具加速模型推理，因此在该项目中，我们将结合之前开发的 OpenVINO™ C# API 部署YOLOv8 OBB 模型实现旋转物体对象检测。

2024-01-31 12:46:25 1786 1

原创【OpenCV】在Linux上使用OpenCvSharp

OpenCvSharp是一个OpenCV的 .Net wrapper，应用最新的OpenCV库开发，使用习惯比EmguCV更接近原始的OpenCV，该库采用LGPL发行，对商业应用友好。

2024-01-31 11:56:26 1422 2

原创【OpenVINO】使用 OpenVINO CSharp API 部署 PaddleOCR 项目介绍

在之前的项目中，我们已经使用 OpenVINOTM CSharp API 部署 PaddleOCR 全系列模型，但随着PaddleOCRv4版本发布以及OpenVINO CSharp API版本迭代，上一版本的项目已经不再适用。因此在推出的最新项目中，已经完成了对PaddleOCRv4的匹配，并且采用了最新版本的 OpenVINOTM CSharp API，可以更快的实现在不同平台进行部署，减少使用者在使用时的步骤以及问题。

2024-01-08 12:14:02 1704

原创【OpenVINO 】在 MacOS 上编译 OpenVINO C++ 项目

英特尔公司发行的模型部署工具OpenVINO™模型部署套件，可以实现在不同系统环境下运行，且发布的OpenVINO™ 2023最新版目前已经支持MacOS系统并同时支持在苹果M系列芯片上部署模型。在该项目中，我们将向大家展示如何在MacOS系统、M2芯片的Macbook Air电脑上，展示使用OpenVINO™ C++ API 部署深度学习模型。

2024-01-08 11:52:20 1526