深度学习基础知识（神经元，神经网络，卷积神经网络）

深度学习基础知识：

一、相关概念

1.神经元：

神经网络的每个神经元如下：人工神经元接收来自其他神经元或外部源的输入，每个输入都有一个相关的权值（w），它是根据该输入对当前神经元的重要性来确定的，对该输入加权并与其他输入求和后，经过一个激活函数 f，计算得到该神经元的输出。

基本wx + b的形式，其中

• 、表示输入向量

• 、为权重，几个输入则意味着有几个权重，即每个输入都被赋予一个权重

• b为偏置bias

• g(z) 为激活函数

• a 为输出

2.激活函数

常用的非线性激活函数有sigmoid、tanh、relu等等，前两者sigmoid/tanh比较常见于全连接层，后者relu常见于卷积层。这里先简要介绍下最基础的sigmoid函数。

sigmoid的函数表达式如下

其中z是一个线性组合，比如z可以等于：b + + 。通过代入很大的正数或很小的负数到g(z)函数中可知，其结果趋近于0或1。

因此，sigmoid函数g(z)的图形表示如下（ 横轴表示定义域z，纵轴表示值域g(z) ）：

也就是说，sigmoid函数的功能是相当于把一个实数压缩至0到1之间。当z是非常大的正数时，g(z)会趋近于1，而z是非常小的负数时，则g(z)会趋近于0。

二、神经网络

1.分类

1）单层神经网络

单层神经网络是最基本的神经元网络形式，由有限个神经元构成，所有神经元的输入向量都是同一个向量。由于每一个神经元都会产生一个标量结果，所以单层神经元的输出是一个向量，向量的维数等于神经元的数目。

2）感知机

感知机由两层神经网络组成，输入层接收外界输入信号后传递给输出层（输出+1正例，-1反例），输出层是 M-P 神经元。

把一个n维向量空间用一个超平面分割成两部分，给定一个输入向量，超平面可以判断出这个向量位于超平面的哪一边，得到输入时正类或者是反类，对应到2维空间就是一条直线把一个平面分为两个部分。（简单的二分类模型，给定阈值，判断数据属于哪一部分）

2）多层神经网络

多层神经网络就是由单层神经网络进行叠加之后得到的，所以就形成了 层 的概念，常见的多层神经网络有如下结构：

输入层（Input layer）：众多神经元（Neuron）接受大量输入消息。输入的消息称为输入向量。 输出层（Output layer）：消息在神经元链接中传输、分析、权衡，形成输出结果。输出的消息称为输出向量。 隐藏层（Hidden layer）：简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有一层或多层。隐层的节点（神经元）数目不定，但数目越多神经网络的非线性越显著，从而神经网络的强健性（robustness）更显著。

特点是：

1）神经网络中信息只向一个方向移动，即从输入节点向前移动，通过隐藏节点，再向输出节点移动，网络中没有循环或者环。 2)同一层的神经元之间没有连接 3)每个连接都有一个权值 4)第 N 层的每个神经元和第 N-1 层的所有神经元相连（这就是full connected的含义），第 N-1 层神经元的输出就是第 N 层神经元的输入 5)所谓的全连接层就是在前一层的输出的基础上进行一次 Y = W x + b Y=Wx+b Y=Wx+b的变化(不考虑激活函数的情况下就是一次线性变化，所谓线性变化就是平移(+b)和缩放的组合(*w))

三、卷积神经网络（CNN）

1）输入层：输入图像等信息 2）卷积层：用来提取图像的底层特征 3）池化层：防止过拟合，将数据维度减小 4）全连接层：汇总卷积层和池化层得到的图像的底层特征和信息 5）输出层：根据全连接层的信息得到概率最大的结果

可以看到其中最重要的一层就是卷积层，这也是卷积神经网络名称的由来，下面将会详细讲解这几层的相关内容。

1.卷积

在卷积神经网络中，卷积操作是指将一个可移动的小窗口（称为数据窗口，如下图绿色矩形）与图像进行逐元素相乘然后相加的操作。这个小窗口其实是一组固定的权重，它可以被看作是一个特定的滤波器（filter）或卷积核。这个操作的名称“卷积”，源自于这种元素级相乘和求和的过程。这一操作是卷积神经网络名字的来源。

这张图中蓝色的框就是指一个数据窗口，红色框为卷积核（滤波器），最后得到的绿色方形就是卷积的结果（数据窗口中的数据与卷积核逐个元素相乘再求和）

卷积需要注意哪些问题？

a.步长stride：每次滑动的位置步长。

b. 卷积核的个数：决定输出的depth厚度。同时代表卷积核的个数。

c. 填充值zero-padding：在外围边缘补充若干圈0，方便从初始位置以步长为单位可以刚好滑倒末尾位置，通俗地讲就是为了总长能被步长整除。

2.输入层

输入层的作用就是将图像转换为其对应的由像素值构成的二维矩阵，并将此二维矩阵存储，等待后面几层的操作。

输入层比较简单，这一层的主要工作就是输入图像等信息，因为卷积神经网络主要处理的是图像相关的内容，但是我们人眼看到的图像和计算机处理的图像是一样的么？很明显是不一样的，对于输入图像，首先要将其转换为对应的二维矩阵，这个二位矩阵就是由图像每一个像素的像素值大小组成的，我们可以看一个例子，如下图所示的手写数字“8”的图像，计算机读取后是以像素值大小组成的二维矩阵存储的图像。

上图又称为灰度图像，因为其每一个像素值的范围是0~255（由纯黑色到纯白色），表示其颜色强弱程度。另外还有黑白图像，每个像素值要么是0（表示纯黑色），要么是255（表示纯白色）。我们日常生活中最常见的就是RGB图像，有三个通道，分别是红色、绿色、蓝色。每个通道的每个像素值的范围也是0~255，表示其每个像素的颜色强弱。但是我们日常处理的基本都是灰度图像，因为比较好操作（值范围较小，颜色较单一），有些RGB图像在输入给神经网络之前也被转化为灰度图像，也是为了方便计算，否则三个通道的像素一起处理计算量非常大。当然，随着计算机性能的高速发展，现在有些神经网络也可以处理三通道的RGB图像。

3.卷积层

那图片输入进来之后该怎么处理呢？假设我们已经得到图片的二维矩阵了，想要提取其中特征，那么卷积操作就会为存在特征的区域确定一个高值，否则确定一个低值。这个过程需要通过计算其与卷积核（Convolution Kernel）的乘积值来确定。假设我们现在的输入图片是一个人的脑袋，而人的眼睛是我们需要提取的特征，那么我们就将人的眼睛作为卷积核，通过在人的脑袋的图片上移动来确定哪里是眼睛，这个过程如下所示：

通过整个卷积过程又得到一个新的二维矩阵，此二维矩阵也被称为特征图（Feature Map），最后我们可以将得到的特征图进行上色处理（我只是打个比方，比如高值为白色，低值为黑色），最后可以提取到关于人的眼睛的特征，如下所示：

4.池化层

刚才我们也提到了，有几个卷积核就有多少个特征图，现实中情况肯定更为复杂，也就会有更多的卷积核，那么就会有更多的特征图，当特征图非常多的时候，意味着我们得到的特征也非常多，但是这么多特征都是我们所需要的么？显然不是，其实有很多特征我们是不需要的，而这些多余的特征通常会给我们带来如下两个问题：

1）过拟合

2）维度过高

解释过拟合和维度过高：

过拟合（Overfitting）

• 定义：模型在训练数据上表现极好（甚至记住噪声），但在新数据（测试集）上表现差，本质是模型过于复杂，失去了泛化能力。

  假设用CNN识别猫狗图片：

  • 正常情况：模型学习到“尖耳朵”“胡须”等关键特征。

  • 过拟合时：模型可能记住训练图片中某只猫的“背景颜色”“拍摄角度”等无关细节，导致对新图片分类错误。

维度过高（High Dimensionality）

• 定义：特征数量过多导致计算成本高、模型冗余，且可能包含大量无意义特征（如重复或随机噪声）。

• 举例： 假设卷积层输出100个特征图（每个图尺寸28x28），则全连接层输入维度为： 100x28x28 = 78,400 若直接输入全连接层，参数数量会爆炸（例如后续有1000个神经元，参数量为78400x1000=78,400,000）。

为了解决这个问题，我们可以利用池化层，那什么是池化层呢？池化层又称为下采样，也就是说，当我们进行卷积操作后，再将得到的特征图进行特征提取，将其中最具有代表性的特征提取出来，可以起到减小过拟合和降低维度的作用，这个过程如下所示：

那有的读者可能会问了，我应该以什么规则进行特征提取呢？其实这个过程类似于卷积的过程，就是一个正方形的小方块在图片上进行移动，每次我们取这个正方形方框中最具有代表性的特征，那么问题又来了，如何提取到最有代表性的特征呢，通常有两种方法：

• 最大池化：最大池化就是每次取正方形中所有值的最大值，这个最大值也就相当于当前位置最具有代表性的特征，这个过程如下所示：

• 平均池化：平均池化就是取此正方形区域中所有值的平均值，考虑到每个位置的值对于此处特征的影响，平均池化计算也比较简单

5.全连接层

假设还是上面人的脑袋的示例，现在我们已经通过卷积和池化提取到了这个人的眼睛、鼻子和嘴的特征，如果我想利用这些特征来识别这个图片是否是人的脑袋该怎么办呢？此时我们只需要将提取到的所有特征图进行“展平”，将其维度变为 1 × x 1×x 1×x，这个过程就是全连接的过程，也就是说，此步我们将所有的特征都展开并进行运算，最后会得到一个概率值，这个概率值就是输入图片是否是人的概率，这个过程如下所示：

单看这个过程可能还是不太清晰，所以我们可以把之前的过程与全连接层结合起来，如下图所示：

可以看到，经过两次卷积和最大池化之后，得到最后的特征图，此时的特征都是经过计算后得到的，所以代表性比较强，最后经过全连接层，展开为一维的向量，再经过一次计算后，得到最终的识别概率，这就是卷积神经网络的整个过程。

6.输出层

卷积神经网络的输出层理解起来就比较简单了，我们只需要将全连接层得到的一维向量经过计算后得到识别值的一个概率，当然，这个计算可能是线性的，也可能是非线性的。在深度学习中，我们需要识别的结果一般都是多分类的，所以每个位置都会有一个概率值，代表识别为当前值的概率，取最大的概率值，就是最终的识别结果。在训练的过程中，可以通过不断地调整参数值来使识别结果更准确，从而达到最高的模型准确率。

7。例子：识别数字图像8

1）将手写数字图片转换为像素矩阵 

2）对像素矩阵进行Padding不为0的卷积运算，目的是保留边缘特征，生成一个特征图 3）对这个特征图使用六个卷积核进行卷积运算，得到六个特征图 

4）对每个特征图进行池化操作（也可称为下采样操作），在保留特征的同时缩小数据流，生成六个小图，这六个小图和上一层各自的特征图长得很像，但尺寸缩小了 

5）对池化操作后得到的六个小图进行第二次卷积运算，生成了更多的特征图

6）对第二次卷积生成的特征图进行池化操作（下采样操作） 

）将第二次池化操作得到的特征进行第一次全连接 

8）将第一次全连接的结果进行第二次全连接 

9）将第二次全链接的结果进行最后一次运算，这种运算可能是线性的也可能是非线性的，最终每个位置（一共十个位置，从0到9）都有一个概率值，这个概率值就是将输入的手写数字识别为当前位置数字的概率，最后以概率最大的位置的值作为识别结果。可以看到，右侧上方是我的手写数字，右侧下方是模型（LeNet）的识别结果，最终的识别结果与我输入的手写数字是一致的，这一点从图片左边最上边也可以看到，说明此模型可以成功识别手写数字。