c++ opencv 加载 caffe 模型 ---- 笔记

1、Q

报错：

OpenCV(3.4.2) Error: Assertion failed (ngroups > 0 && inpCn % ngroups == 0 && outCn % ngroups == 0) in cv::dnn::ConvolutionLayerImpl::getMemoryShapes, file D:\InstallDir\opencv\3.4.2\src\opencv-3.4.2\modules\dnn\src\layers\convolution_layer.cpp, line 236

出现场景：

使用官方提供的物体识别模型，如下，可以正确运行代码并识别

但是使用自己训练的手写字体模型替换上去之后无法识别

调试发现模型以及图片加载均正确，报错位置在预测的地方，86行

解决：

因为手写字体模型使用的是二维图片，但是物体识别模型使用的RGB图片，所以在预测的时候会报错。

在图片读取的地方修改就可以

//原来的代码
Mat img = imread(imageFile);
//修改后
Mat img = imread(imageFile,0);
//图片读取参数默认是1，读取原图，置0的时候读取灰度图片。

 

2、Q

报错：

OpenCV(3.4.2) Error: Assertion failed (Wh.rows == 4*Wh.cols) in cv::dnn::LSTMLayerImpl::LSTMLayerImpl, file D:\InstallDir\opencv\3.4.2\src\opencv-3.4.2\modules\dnn\src\layers\recurrent_layers.cpp, line 114

出现场景：

https://blog.csdn.net/zchang81/article/details/77040448

以上链接的caffe模型，使用lstm+ctc模型，

 

原因：

期初以为是自定义层问题，由于ContinuationIndicatorLayer层是自动以层，所以在opencv中加载层的时候需要自定，并且有没c++的经验，所以怀疑是c++层写的不对

然后同时自定义两个层，发现读取规律是：先读一遍所有层的getMemoryShapes方法，然后再读层的forward方法

排除自定义层问题，确定问题在lstm层

从头文件中找到唯一一个跟层相关的文件，其中有LSTM层的声明，没有具体过程，具体过程可能需要到opencv的源代码中寻找。

在里面发现了这样的一个定义，Wx的内容对应的是输入的数据

然后从这里又可以看到输入矩阵的支出格式是T*N*dim这样一个三维，和N*dim这样一个二维

 

 

3、Q

报错：

OpenCV(3.4.2) Error: Assertion failed ((int)_numAxes == inputs[0].size()) in cv::dnn::PermuteLayerImpl::getMemoryShapes, file D:\InstallDir\opencv\3.4.2\src\opencv-3.4.2\modules\dnn\src\layers\permute_layer.cpp, line 137

出现场景：

针对上一个问题，我把整个数据的保存结构进行了修改，从[BatchSize,Channel,H,W]变成了[BatchSize,H,W]

然后再对三维数据进行permute转置的时候发生了错误

原因：

猜测四这样一个维度问题

测试：

我在测试可用的模型mnist的prototxt文件中添加了两个permute层，一个在开始，数据格式B*C*H*W，一个在fc层之后，数据格式是B*Dim，在第二个permute层的地方报错，错误：

OpenCV(3.4.2) Error: Assertion failed (inputs[i].size() == 4) in cv::dnn::PermuteLayerImpl::getMemoryShapes, file D:\InstallDir\opencv\3.4.2\src\opencv-3.4.2\modules\dnn\src\layers\permute_layer.cpp, line 149

解决尝试：

决定自定义一个层

新建自定义的permute层，用处是将维度的顺序进行变换

具体过程链接：https://blog.csdn.net/Diana_Z/article/details/98852883

我当前数据是直接从图片进入lstm，我的训练数据在生成的时候生成了三维，然而，blob读取的图片任旧是4维的，

所以在这里解决问题需要的不是一个permute层，而是一个降维的层，就叫DimensionalityReduction层

具体过程：https://blog.csdn.net/Diana_Z/article/details/98881975

将100*1*32的数据传入，仍旧报同一个错误

 

 

 

 

 

4、Q

报错：

OpenCV(3.4.2) Error: Bad argument (Duplicate blobs produced by multiple sources) in cv::dnn::experimental_dnn_v5::`anonymous-namespace'::CaffeImporter::addOutput, file D:\InstallDir\opencv\3.4.2\src\opencv-3.4.2\modules\dnn\src\caffe\caffe_importer.cpp, line 412

原因：

层数据名相同出现了两次

解决：

找到这个重复命名的层，然后改个名字