grape_yan的博客

我们基于OpenVINO下的模型优化工具NNCF，实现了RT-DETR模型的INT8量化，并且在损失极少的精度代价下，实现了模型推理速度提升3~4倍左右，模型大小将为原来的1/4，即提升了模型的推理速度，又降低了模型推理占用内存，这对在边缘设备部署具有十分重要的意义。

在本项目中，我们介绍了OpenVINO Python API 部署自带后处理的RT-DETR模型的案例，并结合该模型的处理方式封装完整的代码案例，实现了在 Intel 平台使用OpenVINO 加速深度学习模型，有助于大家以后落地RT-DETR模型在工业上的应用。为了更好地大家落地RT-DETR模型，我们不仅开发了在Python、C++、C# 三个平台上的案例代码，还结合大家的模型部署习惯对该模型进行了裁剪，实现了去除掉后处理的单输入模型的部署案例。

项目中采用OpenVINO部署行人检测算法、关键点检测算法以及摔倒检测算法实现对行人摔倒自动识别算法，并在AIxBoard 开发板上使用 OpenVINO C# API 结合应用场景部署多模型。

项目中采用OpenVINO部署行人检测算法、关键点检测算法以及摔倒检测算法实现对行人摔倒自动识别算法，并在AIxBoard 开发板上使用 OpenVINO C# API 结合应用场景部署多模型。

基于OpenVINO模型推理库，在C#语言下，调用封装的OpenVINO动态链接库，部署推理PaddleOCR中的文字识别模型；实现了在C#平台使用PaddleOCR文字识别模型识别文字。OpenVinoSharp源码在GitHub和Gitee上已开源，可以直接通过Git获取所有源码.

Paddle Inference 是飞桨的原生推理库， 提供服务器端的高性能推理能力，直接基于飞桨的训练算子，因此它支持飞桨训练出的所有模型的推理；Paddle Inference 功能特性丰富，性能优异，针对不同平台不同的应用场景进行了深度的适配优化，做到高吞吐、低时延，保证了飞桨模型在服务器端即训即用，快速部署。为了能够在C#语言中调用Paddle Inference模型推理库，根据C++动态链接库的原理，推出PaddleInferenceSharp，实现直接在C#平台调用Paddle Inferenc