Net_surgery: 关于如何reshape caffe中.caffemodel中的卷积层

最新推荐文章于 2019-03-25 15:01:37 发布
置顶 最新推荐文章于 2019-03-25 15:01:37 发布
阅读量690 收藏
点赞数 1
分类专栏： 深度学习 文章标签： 深度学习 caffe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010986080/article/details/85322122
版权

Net_surgery: 关于如何reshape caffe中.caffemodel中的卷积层

1. 前言

前提是当有一个训练好的模型或者一个预训练模型，而我们需要微调网络的时候，例如修改某些卷积层的 size，需要微调网络的原因有很多，例如想要提升模型精度，增加某些卷积层的 channel，或者更在意模型的实时性（速度），减少某些卷积层的 channel。当 reshape 了网络某些层的 size 时，毫无疑问需要重新训练模型，有两种思路吧：

  • 修改 prototxt 文件，在 caffe 框架下重头新训练
  • 修改 prototxt 文件，利用已经训练的 caffemodel 或者预训练模型的参数训练

第一种思路的话，最简单也是耗时最久的，收敛速度比较慢，在训练过程中也需要不断调小 learn_rate，这样训练就更慢了，且有过拟合的风险？第二种往往是更好的，好处就是之前辛苦训练的结果没有白费，加快了训练的过程，但是有一个问题就是新的 prototxt 文件与原来已经训练好的 caffemodel 中的权重参数的 size 肯定是不匹配的，无法直接训练，所以本文就是为了记录这个问题，给出一个简单的示例。

2. 进入正题

  • 前提: 已经有了训练过的模型（或者预训练模型）old_deploy.prototxt, old.caffemodel

    以及 修改网络某些层后 得到的新模型的 new_deploy.prototxt

根据 new.prototxt 得到初步的 new.caffemodel:

在 caffe 中利用 new.prototxt 训练，随便迭代多少代，迭代一次就可以了，目的只是为了得到 new.caffemodel，caffe 中怎么训练就不说了。

#!/bin/sh
# mkdir -p snapshot
/home/alpha/ssd/build/tools/caffe train -solver="solver_train.prototxt"  -gpu 0

从 old.caffemodel 传递参数到 new.caffemodel:

在 caffe 的官网中，有关于 Net_surgery 的一个例子，里面展示了如何将 weights 参数从一个 caffemodel 复制到另一个相同大小的 caffemodel，具体参考后文中的 links，而如果改变了某些卷积的通道数，如何来传递参数呢，首先加载两个模型，看一下那些层是做了改变的，当然直接从 prototxt 文件也可以看出。

#coding= utf-8
import sys
import os

caffe_root = '/home/alpha/ssd/'
sys.path.insert(0, caffe_root + 'python')
os.environ['GLOG_minloglevel'] = '2'　# 设置不打印加载模型时候的 log
import caffe

caffe.set_mode_cpu()
net_old = caffe.Net('old_deploy.prototxt', 'old.caffemodel', caffe.TEST)
net_new = caffe.Net('new_deploy.prototxt', 'new.caffemodel', caffe.TEST)

# visualize every layer output of old model
for old_layername, blob in net_old.blobs.iteritems():
    print(old_layername + '\t' + str(blob.data.shape))
print('---------------------------------------------------------------')    
# visualize every layer output of new model
for new_layername, blob in net_new.blobs.iteritems():
    print(new_layername + '\t' + str(blob.data.shape))

在我的模型中输出是这样的，两个模型每一层的名称我没有改，下面只显示有改变的卷积层：

# old
... ...
conv_6/project	(1, 64, 19, 19)
conv_7/expand	(1, 384, 19, 19)
conv_7/depthwise	(1, 384, 19, 19)
conv_7/project	(1, 64, 19, 19)
conv_8/expand	(1, 384, 19, 19)
conv_8/depthwise	(1, 384, 19, 19)
conv_8/project	(1, 64, 19, 19)
conv_9/expand	(1, 384, 19, 19)
conv_9/depthwise	(1, 384, 19, 19)
conv_9/project	(1, 64, 19, 19)
conv_10/expand	(1, 384, 19, 19)
conv_10/depthwise	(1, 384, 19, 19)
conv_10/project	(1, 96, 19, 19)
... ...
--------------------------------------------------------------------
# new
... ...
conv_6/project	(1, 48, 19, 19)
conv_7/expand	(1, 288, 19, 19)
conv_7/depthwise	(1, 288, 19, 19)
conv_7/project	(1, 48, 19, 19)
conv_8/expand	(1, 288, 19, 19)
conv_8/depthwise	(1, 288, 19, 19)
conv_8/project	(1, 48, 19, 19)
conv_9/expand	(1, 288, 19, 19)
conv_9/depthwise	(1, 288, 19, 19)
conv_9/project	(1, 48, 19, 19)
conv_10/expand	(1, 288, 19, 19)
conv_10/depthwise	(1, 288, 19, 19)
conv_10/project	(1, 96, 19, 19)
... ...

以 conv_6/project 层为例，size 从 (1, 64, 19, 19) 变为了 (1, 48, 19, 19)，caffe 中 net.blobs 不存储学习的 weights，而是存储在 net.params 中，因此传递参数：

net_new.params['conv_6/project'][0].data[...] = net_old.params['conv_6/project'][0].data[:48,:,:,:]

对于没有改变的层，直接复制，例如

net_new.params['conv_1/expand'][0].data[...] = net_old.params['conv_1/expand'][0].data[...]

如果获取所有层的名称，当然这个得到不止卷积层，还有其他层

for layer_name, param in net_new.params.iteritems():
    print layer_name + '\t' + str(param[0].data.shape)

保存新模型

net_new.save('newest.caffemodel')

因此，对于我自己的模型，完整的参数传递如下，仅参考

#coding= utf-8
import sys
import os

caffe_root = '/home/alpha/ssd/'
sys.path.insert(0, caffe_root + 'python')
# os.environ['GLOG_minloglevel'] = '2'　# 设置不打印加载模型时候的 log
import caffe

# size 未改的卷积层名称
CONV_LAYERS = ('Conv', 'conv/depthwise', 'conv/project',
               'conv_1/expand', 'conv_1/depthwise', 'conv_1/project', 'conv_2/expand', 'conv_2/depthwise', 'conv_2/project',
               'conv_3/expand', 'conv_3/depthwise', 'conv_3/project', 'conv_4/expand', 'conv_4/depthwise', 'conv_4/project',
               'conv_5/expand', 'conv_5/depthwise', 'conv_5/project', 'conv_6/expand', 'conv_6/depthwise', 
              
               'conv_11/expand', 'conv_11/depthwise', 'conv_11/project', 'conv_12/expand', 'conv_12/depthwise', 'conv_12/project',
               'conv_13/expand', 'conv_13/depthwise', 'conv_13/project', 'conv_14/expand', 'conv_14/depthwise', 'conv_14/project',
               'conv_15/expand', 'conv_15/depthwise', 'conv_15/project', 'conv_16/expand', 'conv_16/depthwise', 'conv_16/project',
               
               'Conv_1', 
               'layer_19_1_2', 'layer_19_2_2/depthwise', 'layer_19_2_2', 'layer_19_1_3', 'layer_19_2_3/depthwise', 'layer_19_2_3',
               'layer_19_1_4', 'layer_19_2_4/depthwise', 'layer_19_2_4', 'layer_19_1_5', 'layer_19_2_5/depthwise', 'layer_19_2_5', 
               
               'conv_13/expand_mbox_loc/depthwise', 'conv_13/expand_mbox_loc', 'conv_13/expand_mbox_conf/depthwise', 'conv_13/expand_mbox_conf', 
               'Conv_1_mbox_loc/depthwise', 'Conv_1_mbox_loc', 'Conv_1_mbox_conf/depthwise', 'Conv_1_mbox_conf', 
              
               'layer_19_2_2_mbox_loc/depthwise', 'layer_19_2_2_mbox_loc', 'layer_19_2_2_mbox_conf/depthwise', 'layer_19_2_2_mbox_conf', 
               'layer_19_2_3_mbox_loc/depthwise', 'layer_19_2_3_mbox_loc', 'layer_19_2_3_mbox_conf/depthwise', 'layer_19_2_3_mbox_conf', 
               'layer_19_2_4_mbox_loc/depthwise', 'layer_19_2_4_mbox_loc', 'layer_19_2_4_mbox_conf/depthwise', 'layer_19_2_4_mbox_conf', 
               'layer_19_2_5_mbox_loc/depthwise', 'layer_19_2_5_mbox_loc', 'layer_19_2_5_mbox_conf/depthwise', 'layer_19_2_5_mbox_conf')


# load two caffemodel
caffe.set_mode_cpu()
net_old = caffe.Net('old_deploy.prototxt', 'old.caffemodel', caffe.TEST)
net_new = caffe.Net('new_deploy.prototxt', 'new.caffemodel', caffe.TEST)

# size 没变的卷积层，即存在 CONV_LAYERS 中的卷积层，参数直接复制
for i in range(len(CONV_LAYERS)):
    net_new.params[CONV_LAYERS[i]][0].data[...] = net_old.params[CONV_LAYERS[i]][0].data[...]

# size 改变的卷积层，根据改变后的 size 传递参数
net_new.params['conv_6/project'][0].data[...] = net_old.params['conv_6/project'][0].data[:48,:,:,:]
net_new.params['conv_7/expand'][0].data[...] = net_old.params['conv_7/expand'][0].data[:288,:48,:,:]
net_new.params['conv_7/depthwise'][0].data[...] = net_old.params['conv_7/depthwise'][0].data[:288,:,:,:]
net_new.params['conv_7/project'][0].data[...] = net_old.params['conv_7/project'][0].data[:48,:288,:,:]
net_new.params['conv_8/expand'][0].data[...] = net_old.params['conv_8/expand'][0].data[:288,:48,:,:]
net_new.params['conv_8/depthwise'][0].data[...] = net_old.params['conv_8/depthwise'][0].data[:288,:,:,:]
net_new.params['conv_8/project'][0].data[...] = net_old.params['conv_8/project'][0].data[:48,:288,:,:]
net_new.params['conv_9/expand'][0].data[...] = net_old.params['conv_9/expand'][0].data[:288,:48,:,:]
net_new.params['conv_9/depthwise'][0].data[...] = net_old.params['conv_9/depthwise'][0].data[:288,:,:,:]
net_new.params['conv_9/project'][0].data[...] = net_old.params['conv_9/project'][0].data[:48,:288,:,:]
net_new.params['conv_10/expand'][0].data[...] = net_old.params['conv_10/expand'][0].data[:288,:48,:,:]
net_new.params['conv_10/depthwise'][0].data[...] = net_old.params['conv_10/depthwise'][0].data[:288,:,:,:]
net_new.params['conv_10/project'][0].data[...] = net_old.params['conv_10/project'][0].data[:,:288,:,:]

# save 新模型
net_new.save('newest.caffemodel')

3. links

caffe 官方 Net_surgery notebook 例子

others

youngxiao's Blog
关注
专栏目录
caffe FCN网络的训练——以SIFT-Flow 数据集为例
jacke121的专栏
10-12 3093
caffe FCN网络的训练——以SIFT-Flow 数据集为例
【caffe c++】网络配置文件说明之reshape层
Feeryman_Lee的博客
03-31 374
#在不改变数据的情况下，改变输入的维度 layer{ name:"reshape" type:"Reshape" bottom:"input" top:"output" reshape_param{ shape{ dim:0 #copy the dimension from below dim:2 dim:3 ...
02-net-surgery.ipynb
微风❤水墨
01-10 953
http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/net_surgery.ipynb Net Surgery Caffe networks can be transformed to your particular needs by editing the model parameters. The d
Caffe实战之Python接口系列（六）Net Surgery(Editing model parameters)
ROM的博客
07-10 515
引言 记录学习官网的例程中的一些重要语句，遇到的问题等，内容分散，建议顺序查看。 主要是调用Caffe的Python接口 源文件就在{caffe_root}/examples中(目录下面的中文标题也附有链接)，安装sudo pip install jupyter打开即可运行，初学者最好是放在它指定的目录，如，否则要改很多路径。 注：eaxmples是用jupyter ...
caffe－Reshape层配置
冬后晚晴的博客
03-05 2323
layer { //层作用：改变输入数据的维度 name: "data_reshape" type: "Reshape"//reshape层 bottom: "data" top: "data_reshape" reshape_param{//reshape层参数 shape { dim: -1 dim: 3 dim: 16 dim: 112 dim: 112 }
caffe源码解析：Blob<Dtype>::Reshape
tanmx219的博客
10-08 3088
Blob&lt;Dtype&gt;::Reshape(const vector&lt;int&gt;&amp; shape) 功能：为blob分配内容空间 该函数一般在开辟空间内存时调用，如输入的data层，InputLayer&lt;Dtype&gt;::LayerSetUp中调用。 一般shape是(num, channel, width, height), 容量count = num*...
Caffe学习笔记（1）：简单的数据可视化
qq_21089969的博客
03-22 2009
caffe的底层是c++写的，如果要进行数据可视化，需要借助其它的库或者是接口，如opencv,python或者是matlab，python的环境需要自行配置，因为我使用的都是网管同志已经配置好的深度学习服务器，所以不用管底层的一些配置问题，如果需要自行配置自己的机器，请参照： http://www.cnblogs.com/denny402/p/5088399.html当前目录为caffe的根目录
FCN 实战
ahxieqi的博客
03-06 523
2019 March 06 fcn FCN 实战 FCN 8s-Caffe-VOC 复现 1. 环境配置 编译安装 caffe, 并安装 python 接口：https://github.com/BVLC/caffe 下载FCN网络模型：https://github.com/shelhamer/fcn.berkeleyvision.org 2. 数据集说明 PASCAL VOC 语义...
Caffe 训练UNET中deconvolution层初始化困难问题
sudakuang的博客
03-25 1187
写在开头，珍爱生命，远离Caffe 在keras上做了一个很简单的分割任务，使用unet完成，基本上10个iteration之后accuracy就会到0.96，一个epoch之后accuracy达到0.99。需要在caffe上复现，但是效果一直不理想。 GitHub上下载了一个caffe版的unet，由于医学图像的格式不适合转成jpg，于是我用了hdf5层 layer { name: ...
caffe随记（八）---使用caffe训练FCN的pascalcontext-fcn32s模型（pascal-context数据集）
朝花&夕拾
08-14 4812
本篇讨论利用caffe进行FCN训练（采用的是pascal-context数据集） 补充：如何用FCN训练好的模型进行图像分割？参考我的另一篇博文： caffe随记（九）---利用FCN和已有的model进行图像语义分割；  http://blog.csdn.net/teeyohuang/article/details/77539912； 链接失效的话可以去我的博文目录里面查找，博
tf.reshape()和caffe的reshape层
amywyx的博客
01-19 2146
先讲caffe的reshapecaffe这一段摘自https://www.cnblogs.com/denny402/p/5072746.htmllayer { name: "reshape" type: "Reshape" bottom: "input" top: "output" reshape_param { shape {
net_surgery中如何将全连接层转换成卷积层
zy3381的专栏
01-06 6950
最近在读Fully convolutional networks for semantic segmentation这篇论文，看到里面很多地方都感觉有些不太明白，只好一点一点来刨了。首先这个net_surgery的例子是非常重要的一个启示，关于如何把一个classifier转换成fully convolutional network   原始输入层定义： https://github.com
caffe的python接口学习（8）：caffemodel中的参数及特征的抽取
weixin_34092455的博客
07-19 177
如果用公式  y=f(wx+b) 来表示整个运算过程的话，那么w和b就是我们需要训练的东西，w称为权值，在cnn中也可以叫做卷积核（filter），b是偏置项。f是激活函数，有sigmoid、relu等。x就是输入的数据。 数据训练完成后，保存的caffemodel里面，实际上就是各层的w和b值。 我们运行代码： deploy=root + 'mnist/deploy.prototxt...
caffe的reshape层探究
u012604811的博客
02-24 4282
在caffe的reshape层参数设定中有两个特别的参数：axis和num_axes，看caffe.proto里的对reshape层的参考文档发现解释的不清楚，举的例子也存在错误，因此特地写了一个仿照reshape层实现的代码来探究这两个参数的作用，代码如下： #include #include using namespace std; int count(vector input, i
梳理caffe代码blob(三)
深藏功与名
03-26 1万+
贯穿整个caffe的就是数据blob： #ifndef CAFFE_BLOB_HPP_ #define CAFFE_BLOB_HPP_ #include #include #include #include "caffe/common.hpp" #include "caffe/proto/caffe.pb.h" #include "caffe/syncedmem.hpp" #inclu
caffe之python接口实战 ：net_surgery 官方教程源码解析
xuluohongshang的博客
12-03 947
本教程属于官方文档的源码解析笔记注1：本文属于caffe_root/example/下的ipynb文件的源码解析，本教程旨在通过源码注释，加速初学者的学习进程。 注2：以下解析中，未对各部分英文注释做翻译，旨在告诫初学者，应该去适应原汁原味的英文教程阅读，这样有助于提升自己阅读技术文献的能力，也是高级程序员的必备素养。 注3：建议大家在jupyter nootebook环境下结合源码注释，运行程
caffe学习笔记11 -- Net Surgery
thystar的专栏
02-29 5683
这是caffe官方文档Notebook Examples中的第四个例子, 链接地址：http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/net_surgery.ipynb
深度学习（七）caffe源码c++学习笔记
热门推荐
hjimce的专栏
10-06 2万+
最近几天为了希望深入理解caffe，于是便开始学起了caffe函数的c++调用。自然而然我们要学的第一步就是学习最简单的接口函数，因为对于预测分类的函数调用，caffe为我们提供了一个例子，一开始我懒得解读这个例子，网上找了一些分类预测的例子，总是会出现各种各样的错误，于是没办法最后只能老老实实的学官方给的例子比较实在，因此最后自己把代码解读了一下，然后自己整理成自己的类，这个类主要用于训练好模型
caffe Reshape layer 使用
u012819437的博客
08-16 3258
caffe reshape 层可以帮助你把任意的输入维数变成你想要的输出维数。 layer { name: "reshape1" type: "Reshape" bottom: "conv1" top: "conv1res" reshape_param { shape { dim: 0 ####0 keep origin dimension dim: 1 #### 1 dim
X_train: <class 'numpy.ndarray'> (790,) y_train: <class 'numpy.ndarray'> (790,)这样两个数据集怎样修改能满足上述要求
最新发布
05-14
为了满足上述要求，我们需要将 X_train 和 y_train 转换为二维数组，其中 X_train 的第一维表示样本数，第二维表示特征数；y_train 的第一维表示样本数，只有一个输出变量。 可以使用 reshape() 函数将 X_train 和 y_train 转换为二维数组： ```python X_train = X_train.reshape(-1, 1) y_train = y_train.reshape(-1, 1) ``` 这将把 X_train 和 y_train 转换为二维数组，其中 X_train 的第一维度为样本数，第二维度为 1（只有一个特征），y_train 的第一维度为样本数，第二维度也为 1（只有一个输出变量）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值