关闭

FCN-加载训练与测试数据

标签: fcn
126人阅读 评论(0) 收藏 举报
分类:

当我们生成了数据后,我们来看看FCN是如何加载数据的。

FCN 代码预览

这里写图片描述

其中:
- data : 训练测试数据
- ilsvrc-nets:存放预训练的模型
- 剩下的框:不同数据集的训练测试prototxt
- voc_layers,siftflow_layers等:数据生成层
- snapshot:保存快照(若没有自建)

加载训练测试数据

我们从solve.py看起。
在这里郑重声明一下:如果训练fcn32s的网络模型,一定要修改solve.py利用transplant的方式获取vgg16的网络权重。
具体操作为:

import sys  
sys.path.append('/home/hitoia/caffe/python')
import caffe
import surgery, score

import numpy as np
import os
import sys

try:
    import setproctitle
    setproctitle.setproctitle(os.path.basename(os.getcwd()))
except:
    pass

vgg_weights = '../ilsvrc-nets/vgg16-fcn.caffemodel'  
vgg_proto = '../ilsvrc-nets/VGG_ILSVRC_16_layers_deploy.prototxt'  
weights = '../ilsvrc-nets/vgg16-fcn.caffemodel'
#weights = '../ilsvrc-nets/vgg16-fcn.caffemodel'

# init
#caffe.set_device(int(sys.argv[1]))
caffe.set_mode_gpu()
caffe.set_device(0)

#solver = caffe.SGDSolver('solver.prototxt')
#solver.net.copy_from(weights)
solver = caffe.SGDSolver('solver.prototxt')
vgg_net=caffe.Net(vgg_proto,vgg_weights,caffe.TRAIN) 
surgery.transplant(solver.net,vgg_net)  
del vgg_net

# surgeries
interp_layers = [k for k in solver.net.params.keys() if 'up' in k]
surgery.interp(solver.net, interp_layers)

# scoring
val = np.loadtxt('/home/hitoia/fcn.berkeleyvision.org/data/pascal/VOCdevkit/VOC2012/ImageSets/Segmentation/seg11valid.txt', dtype=str) #seg11valid就是测试数据

for _ in range(25):
    solver.step(1000)
    score.seg_tests(solver, False, val, layer='score')

关于VGG_ILSVRC_16_layers_deploy.prototxt 可以在http://pan.baidu.com/s/1geLL6Sz下载。

如果训练fcn16s,则可以直接copy自己的fcn32s的model的权重,不需要transplant,也就是不需要修改solve.py
如果训练fcn8s,则可以直接copy自己的fcn16s的model的权重,不需要transplant,也就是不需要修改solve.py
只有如此,才能避免loss高居不下的情况

【注意:】为什么这里要使用transplant?
参考:http://www.cnblogs.com/xuanxufeng/p/6243342.html
这里写图片描述

其实主要是因为vgg中包含了fc6,fc7等全连接层,而FCN中将之改成了全卷积层,二者性质不同,但仍然可以将全连接层的参数拷贝到全卷积层上,也就是这里的transplant所起的作用。

这里的:

for _ in range(25):
    solver.step(1000)
    score.seg_tests(solver, False, val, layer='score')

奇怪的现象:修改solver.prototxt中的max_iter: 100000没有改变最大迭代次数,只有改变这个step里的数字才有用,这里最大迭代次数等于25*1000 = 25000次。

而至于训练数据的加载,则在train.prototxt中

layer {
  name: "data"
  type: "Python"
  top: "data"
  top: "label"
  python_param {
    module: "voc_layers"
    layer: "SBDDSegDataLayer"
    param_str: "{\'sbdd_dir\': \'../data/sbdd/dataset\', \'seed\': 1337, \'split\': \'train\', \'mean\': (104.00699, 116.66877, 122.67892)}"
  }
}

param_str包含了训练数据加载的参数:sbdd_dir,split

label的加载

上一篇《FCN-数据篇》 讲述了如何生成label数据,
生成索引图后,本应该 制作mat文件,但是有点麻烦,参考了网上的资料,修改代码,使得这里也可以直接存放索引图。
修改fcn目录下的voc_layers.py
注释掉原本的load_label ,修改为新的

#    def load_label(self, idx):
#        """
#        Load label image as 1 x height x width integer array of label indices.
#        The leading singleton dimension is required by the loss.
#        """
#        import scipy.io
#        mat = scipy.io.loadmat('{}/cls/{}.mat'.format(self.sbdd_dir, idx))
#        label = mat['GTcls'][0]['Segmentation'][0].astype(np.uint8)
#        label = label[np.newaxis, ...]
#        return label

    def load_label(self, idx):
        """
        Load label image as 1 x height x width integer array of label indices.
        The leading singleton dimension is required by the loss.
        """
        im = Image.open('{}/cls/{}.png'.format(self.sbdd_dir, idx))
        label = np.array(im, dtype=np.uint8)
        label = label[np.newaxis, ...]
        return label

这里的label载入都是0,1等的索引值,代表分割种类。

参考

  1. ubuntu下caffe的FCN8模型训练
  2. FCN网络的训练——以SIFT-Flow 数据集为例
0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

关于机器学习的训练数据、验证数据和测试数据的形象比喻

机器学习最明显的一个特点是需要大量的数据。特别对监督学习来说,就是需要大量的带标签数据(labeled data)。 很多入门的朋友很快就会遇见模型训练和测试这两个阶段,进而也就了解到带标签数据...
  • chenhaifeng2016
  • chenhaifeng2016
  • 2017-06-24 12:49
  • 877

caffe初探之-caffe使用Siamese Network 训练网minst数据集

1.获取数据集 cd caffe ./data/mnist/get_mnist.sh2.创建两个数据集 cd caffe ./examples/siamese/create_mnist_siamese...
  • xingchengmeng
  • xingchengmeng
  • 2017-02-28 09:52
  • 679

tensorflow学习笔记六:保存和加载训练模型

对于机器学习,尤其是深度学习DL的算法,模型训练可能很耗时,几个小时或者几天,所以如果是测试模块出了问题,每次都要重新运行就显得很浪费时间,所以如果训练部分没有问题,那么可以直接将训练的模型保存起来,...
  • xiaopihaierletian
  • xiaopihaierletian
  • 2017-03-13 22:02
  • 1858

神经网络1.训练和测试(train&test)以及相关关系解释--神经网络开篇

现实生活中计算机是没法像人类一样的认识事物的,所以人类一直致力于这方面的研究。前辈们已经开发了许多的方法以实现计算机识别的能力,比如SVM等。但是目前来说最火且具有最高识别度的还是深度学习。有许许多多...
  • qq_20259459
  • qq_20259459
  • 2016-12-29 21:18
  • 2133

sklearn之训练数据和测试数据随机选取

我们在分类的时候需要把数据分成两部分,一部分是训练数据一部分是测试数据。sklearn可以随机的按照设置的比例选取训练数据和测试数据并且样本和标签是对应的分组。 实验代码如下:#!/usr/bin/...
  • baidu_15113429
  • baidu_15113429
  • 2017-05-23 16:05
  • 897

【Python那些事儿】准备数据——训练集和测试集

准备工作在把数据用于机器学习的算法之前,必须认真准备数据。提供类别分布一致的训练集和测试集对于成功的分类模型是十分重要的。继续使用iris数据集,把80%的记录归入训练集,剩下的20%作为测试集。操作...
  • duxu24
  • duxu24
  • 2017-06-30 21:12
  • 2617

训练MNIST数据集模型

1、准备数据。 可以从MNIST官网上下载数据,或者执行data文件夹里get_mnist.sh文件(需要安装wget或者gunzip),下载成功会有如下两个数据集: /data/mnist-tr...
  • Real_Myth
  • Real_Myth
  • 2016-04-18 16:26
  • 2721

将数据集切分成“训练-测试数据集”和交叉验证

如何将数据集划分为测试数据集和训练数据集? 把数据集分为两部分:分别用于训练和测试 sklearn提供一个将数据集切分成训练集和测试集的函数。 from sklearn.crose_validatio...
  • Chloezhao
  • Chloezhao
  • 2016-12-07 11:05
  • 5381

cnn学习之训练和测试数据集处理

最近,在看alexnet,vgg,googlenet的论文时,对于论文中training和testing的时候对于image的处理,做一下总结。(其中有些困惑,可能理解不到位,还望指出) trai...
  • BVL10101111
  • BVL10101111
  • 2016-12-09 19:35
  • 1540

caffe 训练测试自己的数据集

简单记录一下自己使用caffe的过程和遇到的一些问题。 下载caffe以及安装不详细叙述了, 可参照 http://caffe.berkeleyvision.org/installation.htm...
  • sllin2012
  • sllin2012
  • 2015-06-10 11:43
  • 4702
    个人资料
    • 访问:285090次
    • 积分:4126
    • 等级:
    • 排名:第8660名
    • 原创:117篇
    • 转载:82篇
    • 译文:8篇
    • 评论:106条
    个人网站
    最新评论