caffe详解之全连接层

全连接层参数说明

全连接层，输出的是一个一维向量,参数跟卷积层一样。一般将全连接置于卷积神经网络的后几层。权重值的初始化采用xavier,偏置初始化为0.

layer {
  name: "ip1"
  type: "InnerProduct" #全连接层
  bottom: "pool2" #输入
  top: "ip1" #输出
  param {
    lr_mult: 1 #权重学习率倍数
  }
  param {
    lr_mult: 2 #偏置学习率倍数
  }
  inner_product_param {
    num_output: 500 #输出一维向量个数
    weight_filler {
      type: "xavier" #权重初始化方式
    }
    bias_filler {
      type: "constant" #偏置初始化方式
    }
  }
}

全连接配置参数意义

全连接计算公式

全连接计算图示

全连接意义

全连接计算是神经网络的基本计算单元，从历史的角度考虑，全连接其实是前馈神经网络，多层感知机（MLP）方法在卷积神经网络的延用。因此，在全连接计算图示模块中我采用的是传统的MLP结构。全连接层一般置于卷积神经网络的结尾，因为其参数量和计算量对输入输出数据都比较敏感，若卷积神经网络结构前期采用全连接层容易造成参数量过大，数据计算冗余进一步使得模型容易过拟合，因此，我们采用卷积的计算过程减少了参数量，并更够提取合适的特征。但是随着深度的增加，数据信息会不断地丢失，最后采用全连接层能够保留住前面的重要信息，因此全连接与卷积的合理调整会对整个模型的性能产生至关重要的作用！