InferenceHelper 项目使用教程

InferenceHelper 项目使用教程

InferenceHelperC++ Helper Class for Deep Learning Inference Frameworks: TensorFlow Lite, TensorRT, OpenCV, OpenVINO, ncnn, MNN, SNPE, Arm NN, NNabla, ONNX Runtime, LibTorch, TensorFlow项目地址:https://gitcode.com/gh_mirrors/in/InferenceHelper

1、项目的目录结构及介绍

InferenceHelper 项目的目录结构如下：

InferenceHelper/
├── 00_doc/
├── 01_script/
├── inference_helper/
├── third_party/
├── .gitignore
├── .gitmodules
├── LICENSE
├── NOTICE.md
├── README.md

目录介绍：

• 00_doc/: 包含项目文档文件。
• 01_script/: 包含项目脚本文件。
• inference_helper/: 包含 InferenceHelper 的核心代码。
• third_party/: 包含第三方依赖库。
• .gitignore: Git 忽略文件配置。
• .gitmodules: Git 子模块配置。
• LICENSE: 项目许可证文件。
• NOTICE.md: 项目声明文件。
• README.md: 项目说明文件。

2、项目的启动文件介绍

项目的启动文件主要位于 inference_helper/ 目录下，其中包含多个子目录和文件，用于实现不同深度学习框架的推理辅助功能。主要的启动文件包括：

• inference_helper.cpp: 核心实现文件，提供统一的接口供外部调用。
• inference_helper.h: 头文件，定义了 InferenceHelper 的类和接口。

3、项目的配置文件介绍

项目的配置文件主要涉及 CMake 配置和项目设置。以下是一些关键的配置文件和选项：

CMake 配置文件

• CMakeLists.txt: 主配置文件，定义了项目的基本信息和构建选项。

CMake 选项

• -DINFERENCE_HELPER_ENABLE_OPENCV=on: 启用 OpenCV 支持。
• -DINFERENCE_HELPER_ENABLE_TFLITE=on: 启用 TensorFlow Lite 支持。
• -DINFERENCE_HELPER_ENABLE_TFLITE_DELEGATE_XNNPACK=on: 启用 TensorFlow Lite XNNPACK 支持。
• -DINFERENCE_HELPER_ENABLE_TFLITE_DELEGATE_GPU=on: 启用 TensorFlow Lite GPU 支持。

项目设置

在 CMake 中添加 InferenceHelper 到你的项目：

set(INFERENCE_HELPER_DIR ${CMAKE_CURRENT_LIST_DIR}/../InferenceHelper/)
add_subdirectory(${INFERENCE_HELPER_DIR}/inference_helper inference_helper)
target_include_directories(${LibraryName} PUBLIC ${INFERENCE_HELPER_DIR}/inference_helper)
target_link_libraries(${LibraryName} InferenceHelper)

以上配置文件和选项可以帮助你集成和配置 InferenceHelper 项目。

InferenceHelperC++ Helper Class for Deep Learning Inference Frameworks: TensorFlow Lite, TensorRT, OpenCV, OpenVINO, ncnn, MNN, SNPE, Arm NN, NNabla, ONNX Runtime, LibTorch, TensorFlow项目地址:https://gitcode.com/gh_mirrors/in/InferenceHelper