libTorch部署3：常用代码解析

当我们用libtorch进行部署时候，往往都已经在pyTorch下进行过测试的，那么实际工作，就是把python代码翻译成C++代码，这里我把一些常用代码摘录出来做个记录。

1.Mat转Tensor

//1.读取文件
Mat img = imread(“test.jpg”);//opencv读取图片
//OpenCV读取的都是BGR格式，通常需要转成RGB的
cv::cvtColor(img , img , cv::COLOR_BGR2RGB);

//2.缩放到模型需要的输入尺寸
cv::Mat image;
cv::resize(img, image, cv::Size(256, 256));

//3.将Mat数据转为Tensor张量数据，同时增加了1维
std::vector<int64_t> sizes = { 1,img.rows, image.cols,3 };
torch::TensorOptions option(torch::kByte);
torch::Tensor tensor_image = torch::from_blob(image.data, torch::IntList(sizes), option);

//4.维度换位，来满足模型的输入，就是1X256X256X3 变成 1X3X256X256
tensor_image = tensor_image.permute({ 0, 3, 1, 2 });

2.Transforms变换

在pytorch模型的训练过程中，我们一般会对图像进行一些前处理。
比如：

transform = transforms.Compose([
            transforms.ToTensor(),
            transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]),
            ])

在LibTorch中，我们转换成C++代码就是：

tensor_image = tensor_image.toType(torch::kFloat);
// Normalization
tensor_image = tensor_image.div(255);
tensor_image[0][0] = tensor_image[0][0].sub_(0.485).div_(0.229);
tensor_image[0][1] = tensor_image[0][1].sub_(0.456).div_(0.224);
tensor_image[0][2] = tensor_image[0][2].sub_(0.406).div_(0.225);

3.CPU和GPU

有时候我们要用CPU，有时候需要用GPU，要自动适配，就需要加一个判断。

 torch::DeviceType device_type;
    if (torch::cuda::is_available()) {
        std::cout << "CUDA available! Predicting on GPU." << std::endl;
        device_type = torch::kCUDA;
    }
    else {
        std::cout << "Predicting on CPU." << std::endl;
        device_type = torch::kCPU;
    }
    torch::Device device(device_type);

4.Forward后处理

（1）foward

foward后就会输出结果，有的模型比较简单，输出就是一个Tensor，那么执行结果就是：

  tensor::Tensor result = module.forward(inputs).toTensor();

但是我最近用到的模型比较复杂，在C++调用的时候总是crash，仔细检查才发现它输出的是一个tuple而不是一个tensor，那么在C++端代码就可以采用：

torch::Tensor result = module.forward(input).toTuple()->elements()[0].toTensor();

（2）argmax

对于每个样本的预测类别，我们会选择对应概率值最大的类别作为输出结果。因此，在计算预测的准确率时，我们首先需要通过torch.argmax()这个函数来返回预测得到的标签。
所以通常：

 tensor::Tensor result = module.forward(inputs).toTensor();
 torch::Tensor pred = result.argmax(1);

（3）softmax

很多时候，采用的是分类算法，但是实际需要得到的是概率的结果。比如判断判断一个人脸是真或假的时候，我们可以说它70%是真的，30%可能是假的。这时候我们就要用到softmax来对结果进行处理。

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，并且和为1。可以看成概率来理解，从而来进行多分类！
Softmax函数定义如下：

参数：
dim:指明维度，dim=0表示按列计算；dim=1表示按行计算。默认dim的方法已经弃用了，最好声明dim，否则会警告

然后我们就可以取出预测值和置信度，在C++端的实现就是：

//预测推理
torch::Tensor result = g_module.forward({ tensor_image }).toTensor();
//Softmax
result = torch::softmax(result, 1);
//预测值		
float fPreValue = torch::argmax(result).item<float>();
//置信度
float fMaxConfidence = result.max().item<float>();
float fMinConfidence = result.min().item<float>();