通俗易懂的讲解Softmax

该文中显示，Embedding层通常作为神经网络的第一层，本文显示，Softmax是机器学习中很重要的分类函数。通常位于神经网络的最后一层。

-----------------------------------------------------------------------------------------------

通俗易懂的讲解Softmax
什么是Softmax
Softmax分类过程
什么是Softmax
Softmax是机器学习中很重要的分类函数。通常位于神经网络的最后一层，它的作用是将前面输出层的数据转换为概率分布，这个概率分布的特点就是：任意事件发生的概率在0-1之间，且所有事件发生的概率总和为1，并且总有一个事件会发生。
假设原始的神经网络输出为y1,y2,,,,yn,,那么经过Softmax回归处理之后的输出如下：

 

 

上面的过程就是S o f t m a x SoftmaxSoftmax的分类过程，简单说明如下：
我们以数字识别为例：
1，数字识别问题最终是一个10分类问题（分类结果以0，1，2，3，4，5，6，7，8，9划分）
2，数据输入是一个28x28=784维的向量（假设我们分析一张图片）
3，经过神经网络的层层筛选，最终到达S o f t m a x SoftmaxSoftmax这一层之前，输出是一个10维的向量
4，经过S o f t m a x SoftmaxSoftmax转换为10个概率
5，由于是做数据训练，因此我们会有标签做对标
6，利用交叉熵计算这一组10个概率分类与正确标签之间的距离（相当于计算损失值）
7，反向传播更新权值直到结果符合我们要求。

以上就是Softmax的工作过程，至于公式推导过程，这里不做赘述。公式推导本身并不难，了解这个函数的用法更加实用，希望对大家有所帮助。
————————————————
版权声明：本文为CSDN博主「三景页三景页」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/LEEANG121/article/details/103133256