[pytorch] libtorch-C++的实现

已于 2022-11-06 23:18:25 修改
阅读量1.7k 收藏 10
点赞数 1
分类专栏： 模型部署与算子优化 文章标签： c++ pytorch libtorch
于 2022-11-06 23:11:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mingshili/article/details/124692268
版权

文章目录

1. libtoch 的简介与安装

  • libtorch是pytorch的C++版本，可以将pytorch的代码尤其自定义算子，通过libtorch迅速实现为C++版本的自定义算子，从而快速的实现模型部署的验证工作；具体流程可以参考如下方式：

在这里插入图片描述

1.1 libtorch官方下载

在这里插入图片描述

  • 注意有两个版本： 一个是支持C++03规范（Pre-cxx11 ABI），一个支持c++11规范（cxx11 ABI）
  • 这两个版本在进行编译的时候，需要通过设置_GLIBCXX_USE_CXX11_ABI 宏定义来控制我们使用什么规范的libstdc++.so (当旧版(c++03规范)的libstdc++.so，和新版(c++11规范)的libstdc++.so两个库同时存在，我们根据自己下载的libtorch是哪个ABI规范的就要用哪个，并且是通过设置_GLIBCXX_USE_CXX11_ABI来实现选择的) 。为了避免两个库到底选择哪一个的麻烦，GCC5.1就引入了-D_GLIBCXX_USE_CXX11_ABI来控制编译器到底链接哪一个libstdc++.so

扩展说明1： 在GCC5.1发布的同时，为libstdc++添加了新的特性，其中也包括了std::string和std::list的新实现。这个新的实现使得两者符合了c++11的标准，具体来说是取消了Copy-On-Write。那么，这样子虽然符合了c++11的标注，旧版不就无法兼容了吗。为了避免上述混乱，对于旧版而言，GCC5.1添加了__cxx11命名空间，GCC5.1或者说c++11规范下的string和list，实际上是std::__cxx11::string和std::__cxx11::list，所以我们一般的using namespace std就会变成形如using namespace std::__cxx11的样子。也就是说，有旧版(c++03规范)的libstdc++.so，和新版(c++11规范)的libstdc++.so两个库同时存在。

1.2 libtorch CMakeLists配置

-注意 implicit declaration of function ‘XXX’:未申明的引用的错误，通过-D_GLIBCXX_USE_CXX11_ABI=0来控制

set(Torch_DIR "path/to/libtorch/share/cmake/Torch")
find_package(Torch REQUIRED)
set(CMAKE_CXX_FLAGS  "${CMAKE_CXX_FLAGS} -std=c++14 ${TORCH_CXX_FLAGS}")
add_definitions(-D_GLIBCXX_USE_CXX11_ABI=0)  # 使用旧版stdlibc++.so库, 如果有问题就改为=1

# target_link_libraries(${PROJ} ${TORCH_LIBRARIES})

2. libtorch中常用函数写法

2.1 libtorch与 std::vector/数据指针等数据量的转换

  • tensor与vector的转换，是通过数据的指针来完成的
// 一维
std::vector<float> vec;
torch::Tensor tensor = torch::tensor(vec);

// 二维
vector<float> data2dTo1d(const vector<vector<float>>& vec_vec) {
    vector<float> vec;
    for (const auto& v : vec_vec) {
        for (auto d : v) {
            vec.push_back(d);
        }
    }
    return vec;
}


vector<float> vec = data2dTo1d(your2Dvector);
// 写法1：
torch::Tensor t = torch::from_blob(vec.data(), {n,m});
// 写法2: 
// at::Tensor p_feat = at::tensor(vec, torch::kFloat32).to(device);
/***: 写法3
vector<int> v={1,2,3,4};
    at::TensorOptions opts=at::TensorOptions().dtype(at::kInt);
    c10::IntArrayRef s={2,2};//设置返回的tensor的大小
    at::Tensor t=at::from_blob(v.data(),s,opts).clone();
*/

// tensor --> vector
at::Tensor t=at::ones({3,3},at::kInt); 
std::vector<int> v(t.data_ptr<int>(),t.data_ptr<int>()+t.numel());

// data ptr
float * ptr;
cudaMalloc(ptr, sizeof(float)*N);
torch::DeviceType devicetype;
if (torch::cuda::is_available()) {
    std::cout << "CUDA available! Training on GPU." << std::endl;
    devicetype = torch::kCUDA;
}
torch::Device device(devicetype);
// torch::Tensor t = torch::from_blob(ptr, {N, }, device=device);

// 	torch::TensorOptions option(torch::kFloat32);
// auto img_tensor = torch::from_blob(img.data, { 1,img.rows,img.cols,img.channels() }, option);//

float* ptr = tensor.data<float>();

2.2 python与C++对照写法

Note: 官方pytorch对比C++的写法; 如果需要什么函数使用，可以参看官网，然后对照的改写； 这个过程特别需要举一反三能力和类比能力。 注意示例中的写法根据版本更新可能会有变化，仿照写即可。

  • torch::Tensor是类型， torch::tensor函数；
  • 注意libtorch很多都是std::initialized_list的写法，也就是用大括号{}将序列tensor包起来的写法；pytorch中则用中括号括括起来；
  • 注意libtorch中一些多返回值的是std::tuple<torch::Tensor>，有些是std::vector<torch::Tensor>
  • 当pytorch中传入None或者tensor时，通过判断是否为None即可，但是C++可以，你需要声明一个空的tensor来模拟python中的None； （torch::Tensor None; 传入函数后，用torch.tensor.numel()是否为0判断）
------------pytorch 写法libtorch写法
tensor sizesize=torch.tensor.size()c10::ArrayRef size = torch::tensor.sizes()
slicet = torch.tensor.slice(1,2,4)auto x = torch::tensor.slice(1, 2, 4)
.cuda()t = torch.tensor(2,4).cuda()t = torch::tensor({2,4}, at::kCUDA);
cuda().long()t= torch.tensor(2,3).cuda().long()t= torch::tensor({2,3}, at::device(at::kCUDA).dtype(at::kLong));
to(“cuda:1”)t= torch.tensor(2,3).to(“cuda:1”)t= torch::tensor({2,3}, at::device({at::kCUDA,1}));
print tensor}print(tensor)std::cout << torch::tensor << std::endl;
index_select–torch::Tensor b = torch::index_select(a, 0, indices);
多个输出x,y = torch.tensor.max(a,1)std::tuple<torch::Tensor, torch::Tensor> max_cls = torch::max(a,1); auto max_v=std::get<0>(max_cls); auto max_idx=std::get<1>(max_cls);
where–std::vectortorch::Tensor index = torch::where( x >= 10);
cat,stack等函数–torch::Tensor x = torch::stack({a, b}, 1);
permute–torch::Tensor x_ = x.permute({1,0,2});
类型转换–torch::Tensor x = x.toType(torch::kFloat);
split–std::vectortorch::Tensor> y = torch::split(x, 1, 1);
A[mask] <–> torch::masked_select(A, mask)A[mask] = B[mask]A = torch::_s_where(mask, B, A);
是否为空tensor—if(torch::tensor.numel() == 0) 是否为空
切片1c = a[1::2]at::Tensor c = a.index({Slice(1, None, 2)}); 需要include torch/script.h，using namespace torch::indexing;
切片2tensor[…, 1:]tensor.index({“…”, Slice(1)});
切片3tensor[…, :2]tensor.index({“…”, Slice({None, 2})});
取indextensor[torch.tensor([1, 2])]tensor.index({torch::tensor({1, 2})}); 注意大括号
切片赋值1tensor[1, 2] = 1tensor.index_put_({1, 2}, 1);
切片赋值2x[…, 1] = 100x.index_put_({“…”, 1}, 100);
  • mask操作2
/**
//python
a = torch.randn(3, 3)          # 创建shape为3*3，值为[0,1]的随机数的tensor-float类型
b = torch.tensor([0, 1, 0]).bool()  # 创建bool值向量，最终的结果是对应行向量的取舍
c = torch.tensor([0, 1, 0]).long()         # 注意这里不是bool值,最终的结果只是按行(值)索引
a1 = a[b]  # 按掩码操作
a2 = a[c]  # 按索引操作
*/
// C++
 torch::Tensor value = torch::randn({3,3});   // 被操作的tensor
torch::Tensor x = at::tensor({0,1,0}).toType(at::kBool);  // bool型掩码向量，注意tensor类别要bool类型
torch::Tensor y = at::tensor({0,1,0}).toType(at::kLong);  // 非bool型则按值索引(这里的索引用tensor必须是long, byte or bool类型的)
torch::Tensor value1 = value.index({x});  // bool类型按掩码操作
torch::Tensor value2 = value.index({y});  // 非bool类型按行索引
  • 注意permute使用
/**
permute不会改变tensor 的data指针内数据的顺序
但是调用contiguous之后会改变。
*/
tensor_image = tensor_image.permute({2,3,0,1});   
tensor_image = tensor_image.contiguous();

3. 实际用例

3.1 写测试用例测试libtorch函数

在写实际用例测试按照libtorch复习的pytorch自定义算子时，需要保存这个算子pytorch的输入输出，来验证libtorch算子是否编写正确，需要注意，保存的时候，f.write 二进制保存或者使用numpy.tofile()去保存二进制；而不是用numpy.save(“*.npy”), 因为npy不是标准的二级制文件格式，C++读取npy可能有问题，会多出32个数。

3.2 用libtorch实现tensorRT的plugin

3.2.1 libtorch与nvidia的DeviceType冲突

主要原因是编译顺序导致，libtorch中头文件里的DeviceType使用的时候，没有显性的指明namespace，而是在开始的时候用namespace at/c10 {}括起来，从而是的与tensorRT中的nvinfer1::DeviceType 冲突ambiguous

有哪些冲突就把libtorch的那些冲突的head文件中 DeviceType前面加上c10::或者at::即可，总共冲突的文件不太多，手动改就好。

DeviceType --> c10::DeviceType

4. reference

  1. 4 ↩︎

  2. 6 ↩︎

libtorch c++函数
juluwangriyue的博客
12-06 349
libtorch c++函数1、libtorch 的c++函数可以在下面的文件中找到 1、libtorch 的c++函数可以在下面的文件中找到 \libtorch-win-shared-with-deps-1.9.0-cpu\libtorch\include\ATen\Functions.h 文件内容如下： #pragma once // @generated by tools/codegen/gen.py from Functions.h #include <c10/core/Scalar.h&
C++下的libtorch部署——（一）pytorch序列化
qq_43199575的博客
08-22 774
模型部署的方式有很多，pytorch框架下有一种由官方提供的方式：使用TorchScript将pytorch训练的模型转换为C++环境支持的模型TorchScript是一种从PyTorch代码创建可序列化和可优化模型的方法。任何TorchScript程序都可以从Python进程中保存，并加载到没有Python依赖的进程中。
C++调用PyTorch模型：LibTorch
己亥谷雨
02-25 4168
转载的文章，挺不错，学习一下！ LibTorch学习笔记（一） 前天由于某些原因需要利用C++调用PyTorch，于是接触到了LibTorch，配了两天最终有了一定的效果，于是记录一下。 环境 PyTorch1.6.0 cuda10.2 opencv4.4.0 VS2017 具体过程 下载LibTorch 去PyTorch官网下载LibTorch包，选择对应的版本，这里我选择Stable(1.6.0)，Windows，LibTorch，C++/JAVA，10.2，然后我选择release版.
“深入浅出”系列之算法篇：（2）使用 C++ 部署 PyTorch 模型
最新发布
weixin_65589140的博客
02-23 960
通常，在此阶段，我们将创建一个 REST-API 来为模型提供服务（或使用 TorchServing），将该 API 部署在具有自动缩放功能的 Kubernetes/AKS/Fargate/EC2 集群上，并从应用程序中查询该 API。如果您正在运行 MacOS（您不太可能在生产中使用），您可能会遇到防火墙问题，请apple.quarantine通过运行允许 Libtorch 禁用。以下是一些内部代码，它们定义模型、加载训练后的权重并使用 保存模型torch.jit.script。
libtorch（pytorch c++）教程（六）
浩瀚之水的专栏
05-12 1345
本章简要介绍如何如何用C++实现一个语义分割器模型，该模型具有训练和预测的功能。本文的分割模型架构使用简单的U-Net结构，代码结构参考了qubvel segmentation中的U-Net部分，该项目简称SMP，是基于pytorch实现的开源语义分割项目。本文分享的c++模型几乎完美复现了python的版本。 模型简介 简单介绍一下U-Net模型。U-Net模型的提出是在医学图像分割中，相比于当时的其他模型结构，U-Net的分割能力具有明显优势。一个经典的U-Net结构图如下： U-Net模型采用典型
C++中使用libtorch
六十英里的专栏
04-01 2859
2个参考文章： Libtorch踩坑实录：non-scalar type， '->' has non-pointer type，opencv，Expected Tensor but got Tuple libtorch 哪些函数比较常用？ //如何打印模型 void print_modules(const std::shared_ptr<torch::nn::Module&gt...
libtorch-rpi-cxx11-abi-shared-1.6.0.zip
09-11
libtorch，作为PyTorch的C++版本，为开发者提供了在移动端进行深度学习模型部署的强大工具。它不仅包含了必要的库文件，还支持C++11 ABI（Application Binary Interface），这使得libtorch在跨平台兼容性上具有显著...
libtorch-rpi-aarch64-cxx11-abi-shared-without-deps-1.6.0.zip
09-11
libtorch是PyTorch的一个轻量级库，专为C++环境设计，用于构建和运行深度学习模型。它提供了PyTorch的核心功能，包括自动求导、张量计算以及模型构建，而无需Python环境。在“libtorch-rpi-aarch64-cxx11-abi-shared...
c++调用pytorch libtorch(基础篇)
驽马十驾，功在不舍；锲而不舍，金石可镂。
06-21 4041
c++调用pytorch libtorch1.将pytorch模型转换成Torch Script参考文献 以GitHub [见参考文献1]为例，学习了c++调用pytorch API libtorch的实现过程。 1.将pytorch模型转换成Torch Script 官方tutorial https://pytorch.org/tutorials/advanced/cpp_export.html中给出了当前将pytorch模型转成Torch Script的两种方式（官方源码如下）： 1.Converti
libtorch-win-shared-with-deps-1.5.0+cpu.zip
07-21
libtorch是PyTorch的一个轻量级C++库，它为开发者提供了深度学习模型的构建和推理能力，无需Python环境。在“libtorch-win-shared-with-deps-1.5.0+cpu.zip”这个压缩包中，我们获取的是libtorch针对Windows平台的...
c++配置libtorch
qq_43904309的博客
04-08 1502
CUDA版本最好选与本机一致的版本进行使用，但是我的经验告诉我即使下载的版本和电脑安装的CUDA版本不一致，但只要能兼容也可以使用。比如我下载的LIbTorch的CUDA版本是11.7但是电脑的CUDA版本是12.0，也是可以正常使用的，其中CUDA版本要大于等于LIbTorch的CUDA版本。把libtorch/lib中的所有dll放到libtorch/bin中，然后把libtorch/bin加到环境变量的path中.1、由于找不到xxx.dll,无法继续执行代码，重新安装程序可能会解决此问题。
[小程序系列] C++ 运行pytorch(libtorch)模型
Lion996的博客
05-18 1142
c++ 运行pytorch模型
libtorch (pytorch c++) 教程（二）
浩瀚之水的专栏
05-12 2292
本章讲述张量的常见操作，可以先初步了解，具体在设计损失函数等任务中可以用到。随时翻阅 张量初始化 libtorch(pytorch c++)的大多数api和pytorch保持一致，因此，libtorch中张量的初始化也和pytorch中的类似。本文介绍四种深度图像编程需要的初始化方法。 第一种，固定尺寸和值的初始化。 //常见固定值的初始化方式 auto b = torch::zeros({3,4}); b = torch::ones({3,4}); b= torch::eye(4); b = to
03 深度学习模型部署(C++)-Libtorch初探
君子之学必日新，日新者日进也。不日新者必日退，未有不进而不退者
07-15 2803
Libtorch（c++）模型部署
Libtorch c++ 基本概念
love code, love life.
06-01 4676
上一节在VS 2019上配置了Libtorch c++，并进行了测试。有了基本的环境设置，可以进入更有序的学习。 首先，讨论怎么利用面向c++的接口定义模块（module）并与之交互。从最基本、最小规模的模块开始，然后利用面向c++接口内置的模块搭建完整的对抗生成网络模型。 1、libtorch的主要模块的分类 Component Description torch::Tensor 可以自动微分，支持CPU和GPU的张量计算库 torch::nn 用于神经网络
02 深度学习环境配置(C++)-Libtorch
君子之学必日新，日新者日进也。不日新者必日退，未有不进而不退者
07-14 1919
Libtorch(C++)环境配置
libtorch（pytorch c++）教程（七）
浩瀚之水的专栏
05-12 1354
阅读本文需要有基础的pytorch编程经验，目标检测框架相关知识，不用很深入，大致了解概念即可。 本章简要介绍如何如何用C++实现一个目标检测器模型，该模型具有训练和预测的功能。本文的分割模型架构使用yolov4-tiny结构，代码结构参考了bubbliiiing yolov4-tiny，本文分享的c++模型几乎完美复现了pytorch的版本，且具有速度优势，30-40%的速度提升。 模型简介 简单介绍一下yolov4-tiny模型。yolov4-tiny模型是YOLO(you only look o
libtorch (pytorch c++) 教程（一）
浩瀚之水的专栏
05-12 3773
前言 本教程旨在教读者如何用c++写模型，训练模型，根据模型预测对象。为便于教学和使用，本文的c++模型均使用libtorch（或者pytorch c++ api）完成搭建和训练等。目前，国内各大平台似乎没有pytorch在c++上api的完整教学，也没有基于c++开发的完整的深度学习开源模型。可能原因很多： c/c++的深度学习已经足够底层和落地，商用价值较高，开发难度偏大，一般不会开源； 基于python训练，libtorch预测的部署形式足够满足大多数项目的需求，如非产品级应用，不会有人愿意研究
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值