NNDL第五章笔记CNN

卷积神经网络

卷积神经网络：是一种具有局部连接，权重共享等特性的深度前馈神经网络。
在用全连接前馈网络来处理图像时，会有以下两个问题：

1. 参数过多，容易出现过拟合现象。
2. 局部不变性特征：全连接前馈网络很难提取这些局部不变性，一般需要进行数据增强来提高性能。

目前的卷积神经网络一般是由卷积层，汇聚层和全连接层交叉堆叠而成的前馈神经网络，卷积神经网络有三个结构上的特性：局部连接、权重共享以及汇聚。

卷 积

卷 积：是分析数学中一种重要的运算．在信号处理或图像处理中，经常使用一维或二维卷积。

一维卷积

我们可以设计不同的滤波器来提取信号序列的不同特征：
1，当我们令滤波器𝒘 = [1/𝐾,⋯, 1/𝐾]时，卷积相当于信号序列的简单移动平均（窗口大小为K）
2，当令滤波器𝒘 = [1, −2, 1]时，可以近似实现对信号序列的二阶微分，𝑥″(𝑡) = 𝑥(𝑡 + 1) + 𝑥(𝑡 − 1) − 2𝑥(𝑡)

滤波器𝒘 = [1/3, 1/3, 1/3]可以检测信号序列中的低频信息，而滤波器𝒘 = [1, −2, 1]可以检测信号序列中的高频信息。

二维卷积

给定一个图像𝑿 ∈ ℝ𝑀×𝑁 和一个滤波器 𝑾 ∈ ℝ𝑈×𝑉，一般 𝑈 << 𝑀, 𝑉 << 𝑁，其卷积为:
$y_{i,j}={\sum }_{u=1}^U{\sum }_{v=1}^{}$