详细版【卷积神经网络CNN】基础模型（邱锡鹏）

卷积神经网络CNN

• 全连接前馈问题：

  • 参数太多：效率低且容易过拟合
  • 局部不变特性：忽略物体的局部不变性特征，比如图像中的尺度缩放、平移、旋转等操作不影响其语义信息。如果使用全连接，则所有维度都被一视同仁，如(x1,y1) (x2,y2)中的四个数字被等价看待，但是实际上x1和x2的关联度（相关性）会高于x1和y1，一般需要进行数据增强来提高性能。

• 卷积神经网络CNN是一种具有局部连接、权重共享、汇聚等特性的深层前馈神经网络。

• 一维卷积（信号处理中使用）

  • 𝑦_𝑡= ∑ 𝑤_𝑘𝑥_{𝑡−𝑘+1} ( 1 ≤ 𝑘 ≤ K) ，其中𝑤₁ , 𝑤₂ , ⋯ 称为滤波器或卷积核，滤波器长度为K，这里假设卷积的输出 𝑦_𝑡 的下标 𝑡 从 𝐾 开始。信号序列𝒙和滤波器𝒘的卷积定义为𝒚 = 𝒘 ∗ 𝒙, 其中∗表示卷积运算。
  • 简单移动平均： 𝒘 = [1/𝐾, ⋯ , 1/𝐾] ；信号序列的二阶微分：𝒘 = [1, −2, 1]，可以检测信号序列中的高频信息（高频和低频指信号变化的强烈程度）
    

• 二维卷积（图像）

  • 给定图像 𝑿 ∈ ℝ^𝑀×𝑁 和滤波器 𝑾 ∈ ℝ^𝑈×𝑉， 𝑈 << 𝑀, 𝑉 << 𝑁，其卷积 𝑦_𝑖𝑗= ${\sum }_{u=1}^U$