大模型——MobileSAM的Onnxruntime cpp部署

介绍

该项目旨在为Segment Anything和MobileSAM创建一个纯 C++ 推理 api ，在运行时不依赖于 Python。代码存储库包含一个带有测试程序的 C++ 库，以便于将接口轻松集成到其他项目中。

模型加载大约需要 10 或 1 秒，单次推理大约需要 20 毫秒，使用 Intel Xeon W-2145 CPU（16 线程）获得。在运行时，如果在 CPU 上运行，该接口可能消耗大约 6GB 或 1GB 内存，如果在 CUDA 上运行，则可能消耗 16GB 或 1GB 内存。这里的“或”表示“Segment Anything”或“MobileSAM”的值。

环境

• Ubuntu 18.04
• Opencv4.6
• Onnxruntime-gpu 1.12.1

ONNX模型准备

mobile_sam.onnx参考此处
mobile_sam_preprocess.onnx参考此处

修改CMakeLists.txt

添加ONNXRUNTIME的根目录

cmake_minimum_required(VERSION 3.21)
set(CMAKE_CXX_STANDARD 17)

project(SamCPP)

find_package(OpenCV CONFIG REQUIRED)
find_package(gflags CONFIG REQUIRED)
set(ONNXRUNTIME_ROOT_DIR /home/yp/lib/onnxruntime/onnxruntime-linux-x64-gpu-1.12.1)

add_library(sam_cpp_lib SHARED sam.h sam.cpp)
set(onnxruntime_lib ${ONNXRUNTIME_ROOT_DIR}/lib/libonnxruntime.so)
target_include_directories(sam_cpp_lib PRIVATE ${ONNXRUNTIME_ROOT_DIR}/include)
target_link_libraries(sam_cpp_lib PRIVATE
  ${onnxruntime_lib}
  ${OpenCV_LIBS}
)

add_executable(sam_cpp_test test.cpp)
target_link_libraries(sam_cpp_test PRIVATE
  sam_cpp_lib
  ${OpenCV_LIBS}
  gflags
)

编译

mkdir build
cd build
cmake ..
make -j8

使用

./sam_cpp_test -pre_model="models/mobile_sam_preprocess.onnx" -sam_model="models/mobile_sam.onnx" -image="images/input2.jpg" -sam_device="cuda:0"

运行结果

在3080显卡上，可以达到每张图片20ms的处理速度。

源码

https://github.com/dinglufe/segment-anything-cpp-wrapper