在caffe上做FCN模型fine-tune的一些注意事项

最近在看Fully Convolutional Networks for Semantic Segmentation这篇论文,14年底就出来了的论文,现在看好像确实有点为时过晚了,用它做东西的论文都出来一大堆了,哎,但是没办法,这些硬货还是得抓紧补上.

在caffe的github issues提供了很多相关的资料, caffe的model zoo也提供了FCN的各种模型下载.

参考资料:https://gist.github.com/shelhamer/80667189b218ad570e82#file-solve-py

好了,废话不多说,论文其实我也还没太读懂,说一下在跑这个实验的代码时遇到的一些坑.

1.不要用caffe train --solver=xxx这种方式来跑代码, github上有一些原因,说是因为你这样子做的话,后面的deconvolution层是没有办法初始化的,会造成这些层的参数都为0,从而导致你的loss一直保持一个很大很大的数值不变动.如果你遇到loss的数值不变化的情况,请改用solve.py文件来调用caffe训练,里面会有一些初始化这些参数的过程.

2.换自己的数据集进行fine-tune的时候要注意了, 你加载的caffemodel会根据你的net.prototxt文件里的各个layer的name来进行参数赋值,如果你改变了网络的输入(3通道到1通道)或者网络的输出(多类别到两类别),那么你运行的时候会遇到

[Caffe]: Check failed: ShapeEquals(proto) shape mismatch (reshape not set)

类似的错误,然而你怎么检查都发现不了维度不对应的错误,实际上,这个错误的产生是因为你从caffemodel加载进来的参数和你的输入或者输出不匹配.

比如原来的输入是3通道, 假设图片分辨率wxh, 第一层卷积的num_output是64, 那么在caffemodel中对应的参数是64x3xwxh,如果你把输入改为单通道,那么你需要的参数应该为64x1xwxh,这个时候你就会遇到Shape mismatch的错误,同理,在最后一层进行了改变也会有同样的问题.

解决办法是:修改网络结构的同时,修改相应的layer的name,这样子在加载caffemodel的时候就不会加载pre-train的参数进来,从而避免参数和数据不匹配,但是这样做也不可避免的重新初始化了部分参数,不过fine-tune的目的刚好也在于此么.