利用LIbtorch1.9实现在VS2019中调用孪生网络模型

前言

此前，已经分享了

• 如何针对像VGG分类网络这样的单输入模型，实现通过libtorch在C++项目中进行调用。
• 通过DarkNet实现了YOLO目标检测网络在C++项目中的调用。

---

VS2019使用C++调用并部署pytorch VGG模型全过程(libtorch+opencv)(cpu+gpu).

VS2019使用Darknet调用YOLOV3模型并测试（CPU+GPU）.

在实际项目过程中，又需要在VS中调用孪生网络模型，在网上查阅一番，发现并没有相关资料，所以只有自食其力/(ㄒoㄒ)/~~。在了解模型输入数据的底层相关处理代码后，解决了这一问题，故简单做个小记录，大家可以参考一下，😀

说明

本博客主要讨论如何针对孪生网络这样需要输入两张图片进行预测的网络模型，进行模型序列化(.pth->.pt)以及在vs项目中实现基本运算。

方法

序列化模型：

1.设置网络模型

model = Siamese([105, 105, 3])

---

2.生成一个随机输入维度的输入 输入shape应满足网络要求

X1 = torch.ones(1, 3, 105, 105).unsqueeze(0)
X2 = torch.ones(1, 3, 105, 105).unsqueeze(0)

注意：创建好张量后需要为其在最外层增加一个维度

---

3.将两张量在新增维度上进行拼接

	x = torch.cat((X1, X2), 0)

---

4.利用torch.jit.trace序列化模型

traced_script_module = torch.jit.trace(model, x)

---

WHY?
虽然在实际调用模型进行预测时，我们的函数是这样写的：（photo_1和photo_2为两图像的张量数据）

但直接以此形式的数据（[tensor1,tensor2]）直接作为输入以供模型序列化，无法成功运行。

跳转至网络内部代码，并调试可以发现真正进入网络的数据实际有5个维度。第一个维度的值为2，说明待比较的图片张量在此维度进行了拼接操作。故正确的输入数据应作如上处理。😀

VS调用模型预测：

主要介绍下输入数据在vs端的处理操作，模型调用等步骤与VGG模型一致，详见VS2019使用C++调用并部署pytorch VGG模型全过程(libtorch+opencv)(cpu+gpu).
1.导入网络模型

 torch::jit::script::Module module;
 module = torch::jit::load("C:\\model_siamese.pt");

---

2.设置两个输入张量并扩充维度

torch::Tensor In1 = torch::randn({ 1, 3, 105, 105 }).unsqueeze(0);
torch::Tensor In2 = torch::randn({ 1, 3, 105, 105 }).unsqueeze(0);

---

3.拼接张量

torch::Tensor input= torch::cat({ In1,In2 }, 0);

---

4.创建输入变量，并将张量input置入

std::vector<torch::jit::IValue> inputs;
inputs.push_back(input);

---

5.模型预测

at::Tensor output = module.forward(inputs).toTensor();

-----------tbc----------

【作者有话说】
有用请👍哦！大家有任何问题可在评论区讨论交流~(✿◡‿◡)