Ubuntu 16.04下Caffe-SSD的应用——常见训练时报错总结

前言

在训练的过程中经常会碰到各种错误，关于环境的，关于样本都有，我这里整理了我训练用caffe ssd训练VGG网络模型时的报的一些错误。

错误

一.报图像样本通道错误
1.1 opencv断言错误

OpenCV Error: Assertion failed ((scn == 3 || scn == 4) && (depth == CV_8U || depth == CV_32F)) in cvtColor, file /build/opencv-ys8xiq/opencv-2.4.9.1+dfsg/modules/imgproc/src/color.cpp, line 3959
terminate called after throwing an instance of 'cv::Exception'
  what():  /build/opencv-ys8xiq/opencv-2.4.9.1+dfsg/modules/imgproc/src/color.cpp:3959: error: (-215) (scn == 3 || scn == 4) && (depth == CV_8U || depth == CV_32F) in function cvtColor

1.2 报网络需要的模型和输入图像的通道数不一致

SSD/DSOD check failed :mean_values_.size() == 1 || mean_values_.size() == img_channels Specify eithe

2.出现这个错误是因为在ssd_pascal.py的train_transform_param中参数定义中ssd默认图像为三通道RGB。输入的样本有可能存在单通道或都四通道的图像。
2.1 找出所有不是三通道的图像，强转成三通道的图像，是于如何强制转换，可以看我之前的博客，转换之后重新生成lmdb数据，再次训练就不报错了。
2.2 转入的样本都是三通道的图像，我写程序判断，所有图像的通道都为3，只是有些图像是偏黑白的而已，然后读取成单通道的图像，这时就要更改ssd_pascal.py脚本，在train_transform_param下面添加参数：

‘force_color’: True

二.训练时mbox_loss = nan
1.错误如下：

我们可以看到左边的学习率是0.001,可能把它改成0,0001试试，看mbox_loss是否为nan。
2.解决办法

三、中间中断训练之后重新开始训练会报GPU或都内存的错误。
1.报GPU的错误Check failed: error == cudaSuccess (2 vs. 0) out of memory
2.重启电脑，重新训练就可以了。