深度学习Caffe实战笔记（7）Caffe平台下，如何调整卷积神经网络结构

授人以鱼不如授人以渔，红鲤鱼家有头小绿驴叫驴屡屡。至于修改网络结构多亏了课题组大师姐老庞，在小米实习回校修整，我问她怎么修改网络，她说改网络就是改协议，哎呀，一语惊醒梦中人啊！老庞师姐，你真美！虽然博主之前也想过修改网络协议试一试，鉴于一直不懂网络结构中的各个参数是干啥的，所以一直没去实施，这次终于开始尝试了。
caffe平台实现卷积神经网络实在方便的很啊，只需要一个协议文件定义一下网络结构，再定义一个超参协议文件即可。这里请注意我的措辞哈，只是介绍如何修改网络结构，而不是如何合理的修改网络结构，什么样的网络才是好的，这暂时还没有一个明确的定义，大多数研究者还处于试一试的阶段，如果谁能把这个问题搞清楚，估计能拿一个图灵奖了。
开始trian。

以Alexnet为例
原始的Alexnet是这个样子的（页面问题只可视化部分好了）：

相应的协议文件中的部分：

layer {
  name: "conv3"
  type: "Convolution"
  bottom: "pool2"
  top: "conv3"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 384
    pad: 1
    kernel_size: 3
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0
    }
  }
}
layer {
  name: "relu3"
  type: "ReLU"
  bottom: "conv3"
  top: "conv3"
}
layer {
  name: "conv4"
  type: "Convolution"
  bottom: "conv3"
  top: "conv4"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 384
    pad: 1
    kernel_size: 3
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}
layer {
  name: "relu4"
  type: "ReLU"
  bottom: "conv4"
  top: "conv4"
}
layer {
  name: "conv5"
  type: "Convolution"
  bottom: "conv4"
  top: "conv5"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}
layer {
  name: "relu5"
  type: "ReLU"
  bottom: "conv5"
  top: "conv5"
}
layer {
  name: "pool5"
  type: "Pooling"
  bottom: "conv5"
  top: "pool5"
  pooling_param {
    pool: MAX
    kernel_size: 3
    stride: 2
  }
}

我们想要在第四个卷积层后再加上一层，怎么办呢？只需要修改相应的协议即可：

layer {
  name: "conv4"
  type: "Convolution"
  bottom: "conv3"
  top: "conv4"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 384
    pad: 1
    kernel_size: 3
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}
layer {
  name: "relu4"
  type: "ReLU"
  bottom: "conv4"
  top: "conv4"
}

layer {
  name: "conv4_p"     #添加一层
  type: "Convolution"
  bottom: "conv4"    #输入层
  top: "conv4_p"     #修改一下
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256  
    pad: 1
    kernel_size: 3
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}
layer {
  name: "relu4_p"   #添加一个relu4_p
  type: "ReLU"
  bottom: "conv4_p"  #修改一下
  top: "conv4_p"     #修改一下
}
layer {
  name: "conv5"
  type: "Convolution"
  bottom: "conv4_p"   #输入层修改一下
  top: "conv5"
  param {
    lr_mult: 1
    decay_mult: 1
  }
  param {
    lr_mult: 2
    decay_mult: 0
  }
  convolution_param {
    num_output: 256
    pad: 1
    kernel_size: 3
    group: 2
    weight_filler {
      type: "gaussian"
      std: 0.01
    }
    bias_filler {
      type: "constant"
      value: 0.1
    }
  }
}

修改后的网络结构如下：

其中conv4_p和relu4_p就是我们自己添加进去的一个卷积层。训练一下修改后的网络，看精度会不会提升。。。。。哈哈哈

那么我们再做另一种修改如下：

想要实现这样的分支怎么实现呢？这里就不做解释了，授人以鱼不如授人以渔，红鲤鱼家有头小绿驴叫驴屡屡。自己摸索一下吧。。。。

写在后面的话：
再次强调一下，只是介绍了如何修改网络结构，而不是如何合理的修改网络结构，这篇博客仅仅介绍采用哪种手段和可以修改网络结构，而不是如何修改网络结构使效果更好。。。。。知道了如何修改网络结构，那么搭建自己的网络也不是什么难事了吧，授人以鱼不如授人以渔，红鲤鱼家有头小绿驴叫驴屡屡，又来了，又来了。哈哈哈

这几篇博客里的内容从最初的如何搭建网络，到如何用网络跑标准数据集，到用现有的网络跑自己的数据集，再到如何修改和搭建自己的网络，基本上涵盖了caffe使用的主要环节，供大家学习参考，我也是刚刚学习，所以有写错和不合适的地方还请大家及时批评指正。后续如果再有时间，我想补充一篇关于网络协议文件参数说明的博客。再后续如果再更新博客，我想做深度学习的基础理论和公式推导之类的工作，毕竟实战加深度才是王道。。。。。

最后用王国维先生的三境界来结束这几个博客：昨夜西风凋碧树，独上高楼，望尽天涯路；衣带渐宽终不悔，为伊消得人憔悴；众里寻他千百度，眸然回首，那人却在灯火阑珊处。