直观理解神经网络最后一层全连接+Softmax

博客：blog.shinelee.me | 博客园 | CSDN

写在前面

这篇文章将从3个角度：加权、模版匹配与几何来理解最后一层全连接+Softmax。掌握了这3种视角，可以更好地理解深度学习中的正则项、参数可视化以及一些损失函数背后的设计思想。

全连接层与Softmax回顾

深度神经网络的最后一层往往是全连接层+Softmax（分类网络），如下图所示，图片来自StackExchange。

先看一下计算方式：全连接层将权重矩阵与输入向量相乘再加上偏置，将$n$个$(-\infty ,+\infty )$的实数映射为$K$个$(-\infty ,+\infty )$的实数（分数）；Softmax将$K$个$(-\infty ,+\infty )$的实数映射为$K$个$(0,1)$的实数（概率），同时保证它们之和为1。具体如下：

$$\hat{\mathrm{y}}=softmax(\mathrm{z})=softmax({\mathrm{W}}^T\mathrm{x}+\mathrm{b})$$

其中，$\mathrm{x}$为全连接层的输入，$W_{n\times K}$ 为权重，$\mathrm{b}$为偏置项，$\hat{\mathrm{y}}$为Softmax输出的概率，Softmax的计算方式如下：

$$softm$$