卷积神经网络 基础篇

CNN
https://campoo.cc/cnn/

• 链式反向梯度传导
  • 链式法则 $\frac{\partial f}{\partial x}=\frac{\partial f}{\partial q}\ast \frac{\partial q}{\partial x}$
• 卷积神经网络
  • 卷积层
    • 由多个卷积核组成
    • 每个卷积核和输入数据卷积运算，形成新的特征图
  • 卷积核
    • 数目用户定义 （2的倍数GPU并行更高效）
    • 卷积核初值随机生成，通过反向传播更新
    • 厚度和输入数据一致
  • 正向传播
  • 反向传播
• 功能层
  • 激活函数
  • 池化层
    • 降维：减少数据运算量
    • max pooling
    • average pooling
  • 输入层时有 归一化层
    • 特征的scale保持一致，加速训练，将输入矩阵中的数据的取值映射到某一个固定的更小的范围吗
    • 近邻归一化（LRN）
    • Batch Normalization
      • BN 依据 mini batch 的数据，而 LRN 仅需要自身，BN 训练中有学习参数，而 LRN 并没有。
  • 切分层(Slice layer)
    • 在某些应用中，希望独立对某些区域单独学习，比如说人脸识别，可以眼睛一套参数，耳朵一套参数。。好处是可以学习多套参数，得到更强的特征描述能力。
  • 融合层(Merge layer)
    • 对独立进行特征学习的分支进行融合，来构建高效而精简的特征组合。
  • 增维