全连接层和目标函数

全连接层

全连接层在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、汇合层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学习到的特征表示映射到样本的标记空间的作用。在实际使用中，全连接层，可由卷积操作实现：
1.对于前层是全连接的全连接层，可以将其转化为卷积核为1X1的卷积；
2.对于前层是卷积层的全连接层，则可以将其转化为h*w的全局卷积，h和w分别为分别为前层卷积输出结果的宽和高。
以经典的VGG-16网络模型为例，对于224x224x3的图像输入，最后一层卷积层(指VGG-16中的Pool5）可得输出为7x7x512的特征张量。若后层是一层含4096个神经元的全连接层，则可用卷积核为7x7x512x4096的全局卷积来实现这一全连接运算过程，其中该卷积核具体参数如下：

经过此卷积操作后可得1x1x4096的输出。如需再次叠加一个含有2048个神经元的全连接层，可设定参数的卷积层操作：

目标函数

上面提到，全连接层是将网络特征映射到样本的标记空间做出预测，目标函数的作用则用来衡量该预测值与真实样本标记之间的误差。在当下的卷积神经网络中，交叉熵损失函数和L2损失函数分别是分类问题和回归问题中最为常用的目标函数。同时越来越多的针对不同问题特性的目标函数被提出。
注：文章选自《解析深度学习—卷积神经网络原理与视觉实践》魏秀参著