深度学习（二）-神经网络直观理解

本文通过图文+公式的方法，介绍了一维和二维神经网络，以及网络内部数据的计算等相关内容。

本节摘要插图所示为一维全连接神经网络的结构，但是，这种情况下的训练参数量巨大，训练效率低，无法满足性能要求。
例如：（如下图所示）
输入图像大小：$28\times 28$
输入层神经元个数：$28\times28=784)$
隐藏神经元的个数：15
权重参数(神经元之间的连线)：$748 \times 15 = 11760$

如何解决参数量大的问题？
1. 非全连接（也就是删掉一些”线段”）
2. 权重共享（也就是一些线段的权重相同）

输入层神经元

如果将二维图像转换成一维图像，将会丢掉一些结构信息，因此，在CNN的输入层，直接输入二维矩阵，因此实际输入层的结构如下图所示：

RGB图像的输入层如下图所示：

卷积操作

卷积操是卷积神经网络中最重要，也是最核心的部分。
先介绍下几个重要的概念：

local receptive fields（感知视野）

将去掉全连接中的一部分连接后，剩下的连接就形成了感知视野，也就是后面层能从前面层中获取信息的区域，如下图所示：

weight（权重）

后层神经元和前层神经元相连的每条线对应一个权重值，将感知区域的所有线段的权值根据位置排列成矩阵，就是我们所说的权重矩阵W。

stride（步长）感受视野对输入矩阵的扫描间隔表示步长，为了能扫描到边界的一些特征，感受视野会出界，因此通过用0对边界进行padding，同时，也可以控制卷积后的层的大小。

具体卷积操作如下图所示：

同时和每个卷积核对应，还有一个偏置项b。
简单用公式描述卷积操作，如下公式所示：
$$

$$

对于每个卷积核，都会产生一个feature map，如下图所示：

层与层之间会有多个卷积核，因此，往往产生多个feature map，如下图所示：

多通道卷积操作

最后，从整体来看看卷积层是如何工作的，对于三通道的图像，每个卷积核的size均为[$3\times rows \times cols$],如下图所示：

公式描述如下:

<script type="math/tex; mode=display" id="MathJax-Element-5"> </script>
注意：每个feature map中的每个元素即为该层的一个神经元，权重是神经元和神经元之间的连线。