caffe下用FCN做图像分割,如何制作训练集?

问题:https://www.zhihu.com/question/38553167/answer/116795517
答主主页:https://www.zhihu.com/people/onlytailei/answers

默认排序
铁胆火车侠
铁胆火车侠
西嗯嗯调参狗 / 博士申了三次
14 人赞同了该回答

鉴于有太多人询问具体细节, 末尾更新了一下

原答案:

直接调用GitHub - shelhamer/fcn.berkeleyvision.org: Fully Convolutional Networks for Semantic Segmentation by Jonathan Long*, Evan Shelhamer*, and Trevor Darrell. CVPR 2015.源代码啊,走python layer。

用net.py生成train和test的prototxt,根据自己的数据调整输出层的参数,不要手动设置prototxt。
网络数据输入参考voc_layers.py调入自己的数据,写自己的python layer,可以用h5py,也可以用任何能用python处理的数据格式,直接对口到input和label。

考虑到FCN这篇文章对deconv和upsampling的特殊处理(线性初始化,learning rate 等于0)。建议不要用命令行加载lmdb的方法。

具体就看上面github链接和论文原文吧。


更新:

以voc-fcn32s为例shelhamer/fcn.berkeleyvision.org

net.py是生成prototxt用的

def fcn(split):

    n = caffe.NetSpec()

    pydata_params = dict(split=split, mean=(104.00699, 116.66877, 122.67892),

            seed=1337)

    if split == 'train':

        pydata_params['sbdd_dir'] = '../data/sbdd/dataset'

        pylayer = 'SBDDSegDataLayer'

    else:

        pydata_params['voc_dir'] = '../data/pascal/VOC2011'

        pylayer = 'VOCSegDataLayer'

    n.data, n.label = L.Python(module='voc_layers', layer=pylayer,

            ntop=2, param_str=str(pydata_params))

这段最后说的就是数据输入部分,网络的第一层,data和label来自一个python layer,这个python layer有四个参数,一个module叫voc_layers, 一个layer叫’SBDDSegDataLayer’,一个ntop表示这层输出两个blob(data 和 label),还有一个parame_str就是把上面那些地址,mean值等等以str的形式传参给输入层去解析。

翻译过来就是来自一个voc_layers.py的文件,里面有一个类叫SBDDSegDataLayer。这个voc_layers.py的文件就在根目录下,打开就可看到里面有几个特定的函数。包括set_up,load_image和load_label,然后就可以到caffe是如何一步一步读取原始数据文件的。

set_up 就是处理一下mean值等等一些初始化工作
load image 和 load label就是从自己的文件里读取这两个数据
输入层不用定义backward,没有梯度计算
forward记得要更新下一次迭代的数据index。

很多人问mat文件是怎么生成的那个mat也在这个文件里可以看到,是voc保存label的矩阵形式,应该是用matlab生成的。voc用mat不代表我们必须用mat,可以用任何形式的文件在对应自己定义的python layer里自己定义load_image和load_label的形式就好了。

最后,net.py里的loss层是SoftmaxWithLoss,这个默认如果你要分五类的话,你的标记就得是0,1,2,3,4。voc数据集一共20类,加背景是21类,所以label文件就得是0-20。如果你有一些背景部分不想用来参与loss的计算,这里提供一个ignore_label的参数,可以把背景标记成255,然后这个参数设置成255,之后所有被标记为255的点虽然参与了forward计算,但是不会参与loss的计算,也就不会有反向传播的效果。

阅读更多
文章标签: FCN Caffe
博主设置当前文章不允许评论。

没有更多推荐了,返回首页

关闭
关闭
关闭