神经网络与深度学习（四）

5.卷积神经网络

所以引入卷积神经网络

5.1卷积

卷积作用：

• 近似微分

• 低通滤波/高通滤波
  

卷积扩展：引入滤波器的滑动步长S（能减少输出）和零填充


M：总长
K：kernel

二维卷积：

注意卷积核翻转！
注意：不是矩阵相乘，是对应的x 乘 对应的w 然后再相加可得。

依次：
高斯去噪，使光滑（周围远点比重变小）
提取高频信息、边缘（周围四个点加起来减去之间的点）
针对性的提取边缘信息（特定方向）

5.2卷积神经网络

卷积层代替全连接层，连接会减少
参数w和偏置b 全层共享，图中共有四个参数 w1、w2、w3、b

下标无关紧要，定义为互相关，设置好卷积核就好

单个卷积参数少，能力会受到限制。因此引入多个卷积核

D：通道数（depth深度，特征映射数）

输出特征映射和输入特征映射是全连接的关系，每一个输出特征P相关于前面所有的输入P

两个特征映射
每个特征需要一组卷积核或者说滤波器
每个特征是所有样本卷积之后累加
步长为2

5.3其他卷积种类

补0，相当于步长0.5

5.4典型的卷积网络

原32×32的像素图片

1. 卷积层C1： 共6个通道，通过55的卷积核映射成28×28的矩阵（6个55的卷积核）
2. 汇聚层S2：共6个通道，每个通道以两个小格子通过Min Pooling采样得到14×14
3. 卷积层C3：通过连接表使6个通道到16个通道（不是全连接），再通过5*5的卷积核卷积成10×10
4. 汇聚层S4：和S2一样
5. 卷积层C5：再通过5*5的卷积核卷积成16×1维的数据（5-5+1=1）
6. 全连接层F6：向量，跟一个数据分类器

5.5卷积网络的应用

OCR: 文字识别

5.6应用到文本数据

四个卷积核得到四个向量，每个向量Max-over-time-pooling得到标量
Pooling层得到句子的表示
最后到分类器得到输出分类