卷积神经网络

最新推荐文章于 2024-09-23 21:28:17 发布

lynn_1900

最新推荐文章于 2024-09-23 21:28:17 发布

阅读量2.9k

点赞数

分类专栏：深度学习文章标签：卷积神经网络卷积网络神经网络

本文链接：https://blog.csdn.net/lynn_1900/article/details/107004477

版权

深度学习专栏收录该内容

6 篇文章 0 订阅

订阅专栏

文章目录

一、卷积层
2 池化层
3 全连接层：就是一般的神经网络层
4 经典卷积网络

一、卷积层

1.1 二维卷积 (如灰度图像)

滤波器 Filter

$\begin{array}{|c|c|c|c|c|} \hline \colorbox{aqua}1 & \colorbox{aqua}1 & \colorbox{aqua}0 & \color{red}0 & \color{red}1 \\ \hline \colorbox{aqua}1 & \colorbox{aqua}1 & \colorbox{aqua}0 & \color{red}0 & \color{red}1 \\ \hline \colorbox{aqua}1 & \colorbox{aqua}1 & \colorbox{aqua}0 & \color{red}0 & \color{red}1 \\ \hline \color{red}1 & \color{red}1 & \color{red}0 & \color{red}0 & \color{red}1 \\ \hline \color{red}1 & \color{red}1 & \color{red}0 & \color{red}0 & \color{red}1 \\ \hline \end{array} ^{图像}_{n \times n} * \quad \begin{array}{|c|c|c|} \hline \color{red}1 & \color{red}0 & \color{red}-1 \\ \hline \color{red}1 & \color{red}0 & \color{red}-1 \\ \hline \color{red}1 & \color{red}0 & \color{red}-1 \\ \hline \end{array}^{滤波器}_{f \times f} = \begin{array}{|c|c|c|} \hline \color{red}3 & \color{red}3 & \color{red}-3 \\ \hline \color{red}3 & \color{red}3 & \color{red}-3 \\ \hline \color{red}3 & \color{red}3 & \color{red}-3 \\ \hline \end{array} ^{输出图像}_{(n-f+1) \times (n-f+1)}$
其中， $*$ 表示交叉相关，但是在深度学习中通常称为卷积 (实际上不是卷积，卷积操作还要对滤波器关于斜对角线进行翻转)
垂直滤波器 (以 $3\times3$ 为例)
$\left[ \begin{matrix} 1&0&-1 \\ 1&0&-1 \\ 1&0&-1\\ \end{matrix} \right], \left[ \begin{matrix} 1&0&-1 \\ 2&0&-2 \\ 1&0&-1\\ \end{matrix} \right], \left[ \begin{matrix} 3&0&-3 \\ 10&0&-10 \\ 3&0&-3\\ \end{matrix} \right]$

水平滤波器 (以 $3\times3$ 为例)
$\left[ \begin{matrix} 1&1&1 \\ 0&0&0 \\ -1&-1&-1 \\ \end{matrix} \right], \left[ \begin{matrix} 1&2&1 \\ 0&0&0 \\ -1&-2&-1 \\ \end{matrix} \right], \left[ \begin{matrix} 3&10&-3 \\ 0&0&0 \\ -3&-10&-3 \\ \end{matrix} \right]$

把滤波器当作参数进行训练
$\left[ \begin{matrix} w_{1}&w_{2}&w_{3} \\ w_{4}&w_{5}&w_{6} \\ w_{7}&w_{8}&w_{9} \\ \end{matrix} \right]$

实现卷积：

conv-forward
tf.nn.conv2d
tf.keras.Conv2D

填充 Padding

如果重复滤波会出现的问题：

图片会很快缩小
边缘图像利用率很低，只在最初几次用到

策略：Padding，即每次滤波用 $p$ 层额外的边缘填充图像，这样输出的图像大小为 $n + 2 p - f + 1$

"Valid" covolution: no padding，即 $p = 0$ .
"Same" convalution: 输出图像和原图像大小一致，即要求填充 $\frac{f-1}{2}$ 层，所以通常要求 $f$ 是奇数.

卷积步长 Strided Covolution

滤波器以步长s进行移动，则输出图像大小为：
$\left\lfloor\frac{n+2p-f}{s}+1\right\rfloor \times \left\lfloor\frac{n+2p-f}{s}+1\right\rfloor$
其中， $\lfloor\cdot\rfloor=floor(\cdot)$ 表示向下取整，

1.2 三维卷积 (如RGB图像)

类比于普通的神经网络：
在这里插入图片描述
例：如果有10个过滤器，每个过滤器的大小为 $3\times3\times3$ ，那么参数的个数为 $27 * 10 + 10 = 280$ .
记号
$\def\arraystretch{1.5} \begin{array}{c:c} 超参数 & 记号 \\ \hline padding & \color{red}p^{[l]} \\ \hline stride & \color{red}s^{[l]} \\ \hline filter\ size & f^{[l]} \times {\color{red}f^{[l]}} \times n_{c}^{[l-1]} \\ \hline number\ of\ filter & \color{red}n_{c}^{[l]} \\ \end{array}$

$\def\arraystretch{1.5} \begin{array}{c:c} 参数 & shape \\ \hline Weight & f^{[l]}\times f^{[l]} \times n_{c}^{[l-1]} \times n_{c}^{[l]} \\ \hline bias & 1 \times 1 \times 1 \times n_{c}^{[l]} \\ \end{array}$

$\def\arraystretch{1.5} \begin{array}{c:c:c} layer & shape\ of\ 1& shape\ of\ m\\ \hline input & n_{H}^{[l-1]} \times n_{W}^{[l-1]} \times n_{c}^{[l-1]} & m \times n_{H}^{[l-1]} \times n_{W}^{[l-1]} \times n_{c}^{[l-1]} \\ \hline output & {\color{green}n_{H}^{[l]}} \times {\color{green}n_{W}^{[l]}} \times n_{c}^{[l]} & m \times {\color{green}n_{H}^{[l]}} \times {\color{green}n_{W}^{[l]}} \times n_{c}^{[l]} \end{array}$

其中，
$\begin{aligned} n_{H}^{[l]} = \left\lfloor\frac{n_{H}^{[l-1]}+2p^{[l]}-f^{[l]}}{s^{[l]}}+1\right\rfloor \\ n_{W}^{[l]} = \left\lfloor\frac{n_{w}^{[l-1]}+2p^{[l]}-f^{[l]}}{s^{[l]}}+1\right\rfloor \end{aligned}$

2 池化层

average pooling
max pooling (用的更多)：
$\begin{array}{|c|c|c|c|} \hline \colorbox{aqua}1 & \colorbox{aqua}3 & \colorbox{green}2 & \colorbox{green}1 \\ \hline \colorbox{aqua}2 & \colorbox{aqua}9 & \colorbox{green}1 & \colorbox{green}1 \\ \hline \colorbox{Salmon}1 & \colorbox{Salmon}3 & \colorbox{yellow}2 & \colorbox{yellow}3 \\ \hline \colorbox{Salmon}6 &\colorbox{Salmon}6 & \colorbox{yellow}1 & \colorbox{yellow}2 \\ \hline \end{array} \xrightarrow[max\ pooling]{f=2,\ s=2} \begin{array}{|c|c|} \hline \colorbox{aqua}9 & \colorbox{green}2 \\ \hline \colorbox{Salmon}6 & \colorbox{yellow}3 \\ \hline \end{array}$

$\begin{array}{|c|c|c|c|c|} \hline \colorbox{aqua}1 & \colorbox{aqua}3 & \colorbox{aqua}2 & 1 & 3 \\ \hline \colorbox{aqua}2 & \colorbox{aqua}9 & \colorbox{aqua}1 & 1 & 5\\ \hline \colorbox{aqua}1 & \colorbox{aqua}3 & \colorbox{aqua}2 & 3 & 2\\ \hline 8 & 3 & 5 &1 & 0 \\ \hline 5 & 6 &1 &2 & 9 \\ \hline \end{array} \xrightarrow[max\ pooling]{f=3,\ s=1} \begin{array}{|c|c|c|} \hline \colorbox{aqua}9 & 9 & 5\\ \hline 9 & 9 & 5 \\ \hline 8 & 6 & 9 \\ \hline \end{array}$

如果有多通道，那么每层通道都进行一样的pooling操作，输入和输出的形状为：
$n_{H} \times n_{W} \times n_{c} \\ \downarrow \\ \left\lfloor\frac{n+2p-f}{s}+1\right\rfloor \times \left\lfloor\frac{n+2p-f}{s}+1\right\rfloor \times n_{c}$
其中，在池化过程中 $p$ 通常为0.