授人以鱼不如授人以渔,红鲤鱼家有头小绿驴叫驴屡屡。至于修改网络结构多亏了课题组大师姐老庞,在小米实习回校修整,我问她怎么修改网络,她说改网络就是改协议,哎呀,一语惊醒梦中人啊!老庞师姐,你真美!虽然博主之前也想过修改网络协议试一试,鉴于一直不懂网络结构中的各个参数是干啥的,所以一直没去实施,这次终于开始尝试了。
caffe平台实现卷积神经网络实在方便的很啊,只需要一个协议文件定义一下网络结构,再定义一个超参协议文件即可。这里请注意我的措辞哈,只是介绍如何修改网络结构,而不是如何合理的修改网络结构,什么样的网络才是好的,这暂时还没有一个明确的定义,大多数研究者还处于试一试的阶段,如果谁能把这个问题搞清楚,估计能拿一个图灵奖了。
开始trian。
以Alexnet为例
原始的Alexnet是这个样子的(页面问题只可视化部分好了):
相应的协议文件中的部分:
layer {
name: "conv3"
type: "Convolution"
bottom: "pool2"
top: "conv3"
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 384
pad: 1
kernel_size: 3
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0
}
}
}
layer {
name: "relu3"
type: "ReLU"
bottom: "conv3"
top: "conv3"
}
layer {
name: "conv4"
type: "Convolution"
bottom: "conv3"
top: "conv4"
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 384
pad: 1
kernel_size: 3
group: 2
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0.1
}
}
}
layer {
name: "relu4"
type: "ReLU"
bottom: "conv4"
top: "conv4"
}
layer {
name: "conv5"
type: "Convolution"
bottom: "conv4"
top: "conv5"
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 256
pad: 1
kernel_size: 3
group: 2
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0.1
}
}
}
layer {
name: "relu5"
type: "ReLU"
bottom: "conv5"
top: "conv5"
}
layer {
name: "pool5"
type: "Pooling"
bottom: "conv5"
top: "pool5"
pooling_param {
pool: MAX
kernel_size: 3
stride: 2
}
}
我们想要在第四个卷积层后再加上一层,怎么办呢?只需要修改相应的协议即可:
layer {
name: "conv4"
type: "Convolution"
bottom: "conv3"
top: "conv4"
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 384
pad: 1
kernel_size: 3
group: 2
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0.1
}
}
}
layer {
name: "relu4"
type: "ReLU"
bottom: "conv4"
top: "conv4"
}
layer {
name: "conv4_p" #添加一层
type: "Convolution"
bottom: "conv4" #输入层
top: "conv4_p" #修改一下
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 256
pad: 1
kernel_size: 3
group: 2
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0.1
}
}
}
layer {
name: "relu4_p" #添加一个relu4_p
type: "ReLU"
bottom: "conv4_p" #修改一下
top: "conv4_p" #修改一下
}
layer {
name: "conv5"
type: "Convolution"
bottom: "conv4_p" #输入层修改一下
top: "conv5"
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
convolution_param {
num_output: 256
pad: 1
kernel_size: 3
group: 2
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0.1
}
}
}
修改后的网络结构如下:
其中conv4_p和relu4_p就是我们自己添加进去的一个卷积层。训练一下修改后的网络,看精度会不会提升。。。。。哈哈哈
那么我们再做另一种修改如下:
想要实现这样的分支怎么实现呢?这里就不做解释了,授人以鱼不如授人以渔,红鲤鱼家有头小绿驴叫驴屡屡。自己摸索一下吧。。。。
写在后面的话:
再次强调一下,只是介绍了如何修改网络结构,而不是如何合理的修改网络结构,这篇博客仅仅介绍采用哪种手段和可以修改网络结构,而不是如何修改网络结构使效果更好。。。。。知道了如何修改网络结构,那么搭建自己的网络也不是什么难事了吧,授人以鱼不如授人以渔,红鲤鱼家有头小绿驴叫驴屡屡,又来了,又来了。哈哈哈
这几篇博客里的内容从最初的如何搭建网络,到如何用网络跑标准数据集,到用现有的网络跑自己的数据集,再到如何修改和搭建自己的网络,基本上涵盖了caffe使用的主要环节,供大家学习参考,我也是刚刚学习,所以有写错和不合适的地方还请大家及时批评指正。后续如果再有时间,我想补充一篇关于网络协议文件参数说明的博客。再后续如果再更新博客,我想做深度学习的基础理论和公式推导之类的工作,毕竟实战加深度才是王道。。。。。
最后用王国维先生的三境界来结束这几个博客:昨夜西风凋碧树,独上高楼,望尽天涯路;衣带渐宽终不悔,为伊消得人憔悴;众里寻他千百度,眸然回首,那人却在灯火阑珊处。