吴恩达深度学习课程第四课1.6-1.11学习笔记

三维卷积

6x6x3图像
第一个6 ——高度
第二个6 ——宽度
3——通道数
通道数和右过滤器的通道数必须一致
输入的4x4图像通道数为1

同时使用两个（多个）过滤器，将图像与一个过滤器卷积输出得到4x4，再与第二个过滤器输出得到另外一个4x4，将其堆叠在一起形成4x4x2的立方体。

单层卷积网络

6x6x3矩阵卷积输出得到第一个4x4矩阵然后增加偏差，偏差是一个实数。通过python的广播机制，给所有16个元素都加上同一偏差。然后应用非线性函数（非线性激活函数ReLU）输出结果是一个4x4矩阵。对于第二个4x4矩阵加上不同的偏差，其它操作一致，输出结果为另一个4x4的矩阵，把两个矩阵堆叠起来得到4x4x2的矩阵，它是卷积神经网络中的一层

前向传播中一个操作
z[1]=W[1]a[0]+b[1],(a[0]=x)
a[1]=g(z[1])
6x6x3就是x
过滤器用变量W[1]表示

10个过滤器，神经网络的一层是3x3x3，那么这一层有多少参数？
3x3x3+1（bias）=28x10=280
280个
无论输入的图片有多大，参数始终是280个，这就是卷积神经网络的一个特征——避免过拟合

卷积符号
权重参数W=所有过滤器的集合再乘以过滤器的总数量
A[l]表示有m个激活值

池化层

最大池化 对左边进行最大值运算
平均池化 取平均值

超级参数
池化过程中没有要学习的参数

为什么使用卷积

参数共享
稀疏连接
神经网络通过这两种机制减少参数

代价函数
Cost J =神经网络对整个训练集的预测的损失总和。