《CNN笔记总结系列之五》全连接层及卷积网络相关其他知识

《CNN笔记总结系列之五》全连接层及卷积网络相关其他知识

-------本文仅为学习笔记，不做任何商业用途-------

前言

    《CNN笔记总结系列》的[1]-[4]分别介绍了卷积神经网络的输入层、卷积层、激励层以及池化层。本文紧接着上述内容，简单介绍卷积神经网络的全连接层。

一、全连接层

    全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。两层之间所有神经元都有权重连接，通常全连接层在卷积神经网络尾部。

    在 CNN 结构中，经多个卷积层和池化层后，连接着1个或1个以上的全连接层。与 MLP 类似，全连接层中的每个神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息．为了提升 CNN 网络性能，全连接层每个神经元的激励函数一般采用 ReLU 函数。最后一层全连接层的输出值被传递给一个输出，可以采用 softmax 逻辑回归（softmax regression）进行分 类，该层也可 称为 softmax 层（softmax layer）。对于一个具体的分类任务，选择一个合适的损失函数是十分重要的，CNN 有几种常用的损失函数，各自都有不同的特点。通常，CNN 的全连接层与 MLP 结构一样，CNN 的训练算法也多采用BP算法。

</