吴恩达神经网络和深度学习-学习笔记-30-相关符号和计算+单层卷积网络+简单卷积网络示例

卷积相关的符号和计算

单层卷积网络

首先执行线性函数，然后所有元素相乘做卷积。
具体做法是运用线性函数，再加上偏差，然后应用激活函数Relu。
也即是说，通过神经网络的一层，把一个6×6×3维度的a^[0]演化为一个4×4×2的维度a^[1]。

一个计算参数数目的小练习：

需要注意的是，参数的数目仅仅与过滤器的维度和数目有关（不论输入的图片有多大，参数的数目都不会改变）。
用这10个过滤器来提取特征，即使这些图片很大，但参数依旧保持较少的数目，这就是卷积神经网络的一个特征，为makes networks less prone to over-fitting。

简单卷积网络示例

第一卷积层输入数据：39×39×3。

• 第一卷积层：维度3×3，步长1，填充0，过滤器10个。
  输出维度为39-3+1=37×37×10

第二卷积层输入数据（第一卷积层输出数据）：37×37×10。

• 第二卷积层：维度5×5，步长2，填充0，过滤器20个。
  输出维度为(37-5)/2+1=17×17×20

第三卷积层输入数据（第二卷积层输出数据）：17×17×20。

• 第三卷积层：维度5×5，步长2，填充0，过滤器40个。
  输出维度为(17-5)/2+1=7×7×40

全连接层输入数据（第三卷积层输出数据）：7×7×40。
拉成1维，最后根据分类要求确定最后一层的隐藏层单元数。这里为logistic回归或Softmax回归，隐藏层单元为1。

随着神经网络计算深度的不断加深，通常开始时的图像也要大一些（在这里初始值为39×39），高度和宽度会在一段时间内保持一致，然后随着网络深度的加深而逐渐减小（从39到37到17再到7），而信道数量在增加（从3到10到20到40）。在许多其他卷积神经网络中也可以看到这种趋势

典型的卷积网络的组成

• 卷积层
• 池化层
• 全连接层