OpenCV DNN模块常用操作

OpenCV DNN模块常用操作

在实际利用opencv提供的dnn模块部署onnx格式的模型的时候,一些python端利用numpy可以简单轻易实现的操作,在C++端就得仔细考虑下实现的策略了。因为大多数并没有非常简单方便地使用形式,甚至可能需要自己去实现。这里做一个记录。

需要注意的是,我这里使用的是opencv的4.6.0版本,原则上来说,越新的版本越合适,因为早期版本中很多的算子都不支持,对于你的原始模型限制比较多。动不动汇报个错,尤其是直接在cpp端的报错一直都是非常让人头疼,输出的信息非常难以定位问题。所以用新版本至少可以尽可能规避算子不支持的问题。

加载onnx权重创建模型

net = cv::dnn::readNetFromONNX(net_onnx);

这里的onnx在cpp端使用的时候,最好现在Python端仔细测试一下导出的onnx文件。
opencv有一点好处就是,python端和cpp端的实现基本一致。

使用cuda

这一操作的前提需要我们在编译opencv的时候必须配置好CUDA的相关内容。这部分内容可以参考一下我的另一篇文章Ubuntu 18.04编译安装支持CUDA的OpenCV4.6.0

net.setPreferableBackend(cv::dnn::DNN_BACKEND_CUDA);
net.setPreferableTarget(cv::dnn::DNN_TARGET_CUDA);

这样利用net前向传播处理数据的时候就会利用GPU。

模型输入输出

对于输入而言,最好借助于opencv自带的函数进行一下预处理,将我们的图像输入转换为4-dimensional Mat with NCHW dimensions order,这一步如果你想自己手工转换,那可是真的不容易。opencv中的维度变换并不像python端,可以借助于numpy来高效方便地实现。

实际上,这里blobFromImage还提供了包括用于调整输入数值的减均值、倍数放缩数值操作(要注意,这里仅仅是一个倍数,而不是我们常用的那种对三个通道除以各自的标准差的操作)、R与B通道的交换、图像尺寸的放缩等等设置。

我一般直接将数据的归一化(减均值除以方差)放到模型内部了,这样可以避免过多外部自定义的操作。

cv::Mat blob = cv::dnn::blobFromImage(image_rgb);

如果我们借助于opencv来实现减均值和除以方差又如何处理呢?官方的例子中提供了一个模板:

blobFromImage(frame, blob, scale, Size(inpWidth, inpHeight), mean, swapRB, crop);
// Check std values.
if (std.val[0] != 0.0 && std.val[1] != 0.0 && std.val[2] != 0.0)
{
    // Divide blob by std.
    divide(blob, std, blob);
}

当然,这是batch为1的情形,实际上我们可以借助于另一个方法blobFromImages来实现整个batch的输入数据的构建。但是使用batch推理的话,需要模型导出onnx的时候设置好动态轴的配置。

单输入单输出

net.setInput(blob);
output = net.forward();

多输入多输出

参考了这里的例子:c++ dnn multi-inputs and multi-outputs

要注意,这里的使用需要与onnx导出时设置的输入输出名字对应。

输入部分,需要多次使用setInput

Mat blobx(3, sizex, CV_32F);
Mat bloby(3, sizey, CV_32F);
net.setInput(blobx, "name_of_first_input");
net.setInput(bloby, "name_of_second_input");

对于输出,则需要根据名字来进行索引输出。这里给出使用forward的两种重载形式的实现形式:

  • void cv::dnn::Net::forward(std::vector< std::vector<Mat>> & outputBlobs, const std::vector<String>& outBlobNames)
vector<vector<cv::Mat>> blob_outs;
vector<string> output_names = {"out1", "out2"};
net.forward(blob_outs, output_names);
cv::Mat blob_out1 = blob_outs[0][0];
cv::Mat blob_out2 = blob_outs[1][0];
  • void cv::dnn::Net::forward(OutputArrayOfArrays outputBlobs, const std::vector<String> & outBlobNames)
vector<cv::Mat> blob_outs(2);
vector<string> output_names = {"out1", "out2"};
net.forward(blob_outs, output_names);
cv::Mat blob_out1 = blob_outs[0];
cv::Mat blob_out2 = blob_outs[1];

这里直接使用了一个固定元素数量的空容器,参考C++初始化向量的不同方式)

明显可见,第二种形式更简单一些。第一种应该是用于一些更加复杂的场景,目前我还没有用到非用不可的情况。

模拟PyTorch和NumPy中的squeeze

在模型输出后,一般是BCHW的形状,但是我们可能后面的处理中,需要去掉一些不需要的独立维度,此时我们如果在python端的话,可能就会使用第三方库中提供的squeeze操作了。但是cpp端我们就需要自己处理一下了。

简单粗暴,直接按地址复制

这里参考一下了文档

for (int row = 0; row < num_rows; row++) {
  const float* row_ptr = preds.ptr<float>(0, 0, row);
  float* new_row_ptr = new_preds.ptr<float>(row);
  for (int col = 0; col < num_cols; col++) {
    new_row_ptr[col] = row_ptr[col];
  }
}

复制新建

直接利用cv::Mat的构造函数来复制数据,一个典型的例子如下,但是这里需要保证通道数与数据格式一致。对于特殊的数据形式可能就不太适合了,例如一个1 x 2 x rows x cols的形状的数据,但是对于1 x 1 x rows x cols这样的就可以。

Mat maxVal(rows, cols, CV_32FC1, score.data);

使用cv::Mat::reshape

Mat cv::Mat::reshape(int cn, const std::vector<int> & newshape) const

cv::Mat out = ori_out.reshape(0, {h, w).clone();  // 这里可以指定新的形状,但要确保元素数量一致

这里的reshape的使用需要注意,各个重载版本中都有cn这个参数,我们并不需要期调整,所以我们指定为0,表示保持原样。需要注意的是,这里的reshape指定新的形状的时候,或许会默认HWC的布局,这一点有待测试。所以一般使用它的时候要小心。另外一点是,reshape并不会复制数据,所以一般最好clone下,确保数据之间不会有隐式的干扰。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值