在实际训练和落地时,有时候拿到的caffemodel并不合适,需要进行简单的修改,这里写下自己用到的几个地方。
基于caffe 的卷积神经网络模型训练后得到的权值是通过Google Protobuf来存储的后缀名为.caffemodel的二进制文件,这类文件一般很难直接打开进行权值的读取和修改。有的时候我们希望直观的看到网络中每个神经元的权值,或者希望更改网络的部分结构来得到新的结构进行finetune。在这样的情况下我们就需要对caffemodel文件进行操作。好在caffe的python接口提供了针对caffemodel文件的修改方法,用户可以从caffemodel文件中读取参数,并对参数进行修改以得到新的caffemodel文件。
1.修改layer name
这个是比较常见的,比如训练好的模型layer name不符合落地要求或训练要求需要修改,例如将所有layer name的‘.’替换掉。
layer {
name: "conv0.0"
type: "Convolution"
bottom: "conv0.0"
top: "conv0.1"
}
我们需要将protxt和caffemodel的name都进行修改,这里写下运行脚本。
import sys
caffe_root = '/home/xx/xx/caffe/python'
sys.path.insert(0, caffe_root)
import caffe
model_old = "model"
modelconfig_old = "modelprotxt"
modelconfig_new = "modelprotxt_new"
net_old = caffe.Net(modelconfig_old, model_old, caffe.TEST)
net_new = caffe.Net(modelconfig_new, model_old, caffe.TEST)
# 重新生成protxt
file = open(modelconfig_old, 'r')
file_new = open("modelconfig_new", 'w')
for line in file.readlines():
if line.find("name") != -1:
name = line.replace('.','_')
file_new.write(name)
else:
file_new.write(line)
file_new.close()
#重新生成caffemodel并赋值
for layer_name, param in net_old.params.iteritems():
new_name = layer_name.replace('.','_')
n = len(param)
for i in range(n):
net_new.params[new_name][i].data[...] = param[i].data[...]
net_new.save("model_new.caffemodel")
注意!!!这里必须迭代赋值
for i in range(n):
net_new.params[new_name][i].data[...] = param[i].data[...]
#直接赋值,模型会报错
net_new.params[new_name] = param
但是这种方法的弊端也很明显,这种方法只能在原有的结构上进行权值的修改,而不能对原有结构进行修改,比如,删除原有结构中的某一层或增加新的层,或更改原有层的维度等。