卷积神经网络
1 - 边缘检测 & 过滤器
1.1 - 过滤器类别
一般过滤器
[ 1 0 − 1 1 0 − 1 1 0 − 1 ] \begin{bmatrix} 1 & 0 & -1\\ 1 & 0 & -1\\ 1 & 0 & -1 \end{bmatrix} ⎣⎡111000−1−1−1⎦⎤
Sobel过滤器
[ 1 0 − 1 2 0 − 2 1 0 − 1 ] \begin{bmatrix}1 & 0 & - 1 \\ 2 & 0 & - 2 \\ 1 & 0 & - 1 \end{bmatrix} ⎣⎡121000−1−2−1⎦⎤
Scharr过滤器
[ 3 0 − 3 10 0 − 10 3 0 − 3 ] \begin{bmatrix} 3& 0 & - 3 \\ 10 & 0 & - 10 \\ 3 & 0 & - 3 \end{bmatrix} ⎣⎡3103000−3−10−3⎦⎤
1.2 - 编程中的卷积(convolution)
不同的编程语言有不同的函数，而不是用“ ∗ * ∗”来表示卷积。所以在编程练习中，你会使用一个叫conv_forward的函数。如果在tensorflow下，这个函数叫tf.conv2d。在其他深度学习框架中，在后面的课程中，你将会看到Keras这个框架，在这个框架下用Conv2D实现卷积运算。所有的编程框架都有一些函数来实现卷积运算。
2 - Padding(填充)
如果有一个 n × n n×n n×n的图像，用一个 f × f f×f f×f的过滤器卷积，输出的图像是 ( n − f + 1 ) × ( n − f + 1 ) (n-f+1)×(n-f+1) (n−f+1)×(n−f+1)维。
2.1 - Valid卷积
在没有填充的情况下进行卷积，也就是输出的图像是 ( n − f + 1 ) × ( n − f + 1 ) (n-f+1)×(n-f+1) (n−f+1)×(n−f+1)维
2.2 - Same卷积
假设填充 p p p个像素点，那么 p = ( f − 1 ) / 2 p=(f-1)/2 p=(f−1)/2。
习惯上，计算机视觉中， f f f通常是奇数
3 - 步长(strided convolutions)
如果有一个
n
×
n
n×n
n×n的矩阵或者
n
×
n
n×n
n×n的图像，与一个
f
×
f
f×f
f×f的矩阵卷积（过滤器）。Padding是
p
p
p，步幅是
s
s
s，那么卷积后的维度是
⌊
n
+
2
p
−
f
s
+
1
⌋
×
⌊
n
+
2
p
−
f
s
+
1
⌋
⌊\frac{n + 2p - f}{s}+1⌋\times⌊\frac{n + 2p - f}{s}+1⌋
⌊sn+2p−f+1⌋×⌊sn+2p−f+1⌋，其中
⌊
⋅
⌋
⌊·⌋
⌊⋅⌋表示的是向下取整（floor）。
4 - 卷积神经网络中的各种标记
以 l l l层为例
- f [ l ] f^{[l]} f[l] = 过滤器大小 (filter size)
- p [ l ] p^{[l]} p[l] = padding的数量
- s [ l ] s^{[l]} s[l] = 步幅
- n c [ l ] n_{c}^{[l]} nc[l] = 过滤器数量
- 下标H、W、c分别表示图片的高度、宽度和通道数(深度)
输入： n H [ l − 1 ] × n W [ l − 1 ] × n c [ l − 1 ] n_{H}^{\left\lbrack l - 1 \right\rbrack} \times n_{W}^{\left\lbrack l - 1 \right\rbrack} \times n_{c}^{\left\lbrack l - 1\right\rbrack} nH[l−1]×nW[l−1]×nc[l−1] (即上一层的激活值)
输出： n H [ l ] × n W [ l ] × n c [ l ] n_{H}^{[l]} \times n_{W}^{[l]} \times n_{c}^{[l]} nH[l]×nW[l]×nc[l]
过滤器： f [ l ] × f [ l ] × n c [ l − 1 ] f^{[l]} \times f^{[l]} \times n_{c}^{\left\lbrack l - 1 \right\rbrack} f[l]×f[l]×nc[l−1]
根据输入和过滤器及padding、步幅等，可以计算出：
n H [ l ] = ⌊ n H [ l − 1 ] + 2 p [ l ] − f [ l ] s [ l ] + 1 ⌋ n_{H}^{[l]} = \lfloor\frac{n_{H}^{\left\lbrack l - 1 \right\rbrack} +2p^{[l]} - f^{[l]}}{s^{[l]}} +1\rfloor nH[l]=⌊s[l]nH[l−1]+2p[l]−f[l]+1⌋
n W [ l ] = ⌊ n W [ l − 1 ] + 2 p [ l ] − f [ l ] s [ l ] + 1 ⌋ n_{W}^{[l]} = \lfloor\frac{n_{W}^{\left\lbrack l - 1 \right\rbrack} +2p^{[l]} - f^{[l]}}{s^{[l]}} +1\rfloor nW[l]=⌊s[l]nW[l−1]+2p[l]−f[l]+1⌋
激活值 a [ l ] a^{[l]} a[l]： n H [ l ] × n W [ l ] × n c [ l ] n_{H}^{[l]} \times n_{W}^{[l]} \times n_{c}^{[l]} nH[l]×nW[l]×nc[l]
权重参数 W W W： f [ l ] × f [ l ] × n c [ l − 1 ] × n c [ l ] f^{[l]} \times f^{[l]} \times n_{c}^{[l - 1]} \times n_{c}^{[l]} f[l]×f[l]×nc[l−1]×nc[l]
偏差参数 b b b： 1 × 1 × 1 × n c [ l ] 1×1×1×n_{c}^{[l]} 1×1×1×nc[l]
5 - 池化层(pooling layers)
- 最大池化的输出大小： ⌊ n + 2 p − f s + 1 ⌋ \lfloor\frac{n + 2p - f}{s} + 1\rfloor ⌊sn+2p−f+1⌋
- 池化的超级参数包括过滤器大小 f f f和步幅 s s s，常用的参数值为 f = 2 f=2 f=2， s = 2 s=2 s=2， 应用频率非常高，其效果相当于高度和宽度缩减一半。也有使用 f = 2 f=2 f=2， s = 2 s=2 s=2的情况。
- 最大池化时，大部分情况下很少用padding。目前 p p p最常用的值是0，即 p = 0 p=0 p=0。
- 最大池化的输入就是 n H × n W × n c n_{H} \times n_{W} \times n_{c} nH×nW×nc，假设没有padding，则输出 ⌊ n H − f s + 1 ⌋ × ⌊ n w − f s + 1 ⌋ × n c \lfloor\frac{n_{H} - f}{s} +1\rfloor \times \lfloor\frac{n_{w} - f}{s} + 1\rfloor \times n_{c} ⌊snH−f+1⌋×⌊snw−f+1⌋×nc。
- 需要注意的一点是，池化过程中没有需要学习的参数。执行反向传播时，反向传播没有参数适用于最大池化。只有这些设置过的超参数，可能是手动设置的，也可能是通过交叉验证设置的。
846
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
