softmax函数及其应用

最新推荐文章于 2024-06-03 12:46:54 发布

-倾城之恋-

最新推荐文章于 2024-06-03 12:46:54 发布

阅读量1.8k

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/P081513083/article/details/88732014

版权

机器学习专栏收录该内容

37 篇文章 0 订阅

订阅专栏

softmax函数实际就是一个归一化函数，以一种特殊的方式将一个向量 $a=[a_1,...,a_K]$ 归一化成和为1。在基于神经网络的分类任务中，经常用softmax函数将神经网络的多维输出 $a=[a_1,...,a_I]$ 归一化成一个概率向量 $y=[y_1,..,y_K]$ ，如式 $(1)$

$y_i=\frac{e^{a_i}}{\sum^K_{k=1}e^{a_k}}, i=1,...,K. (1)$

通常认为 $y_i$ 是样本 $x$ 属于第 $i$ 类的概率 $P(y=i|x;\theta )$ , $\theta$ 为网络参数。

概率输出经常用似然函数(likelihood function)作为loss函数。在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。单个样本的似然性如式（2）

$L(\theta)=P(y=i|x;\theta )=\prod ^K_{i=1}y_i^{t_i}， (2)$

$t$ 为one-hot 向量。

一般期望得到使得概率 $P(y=i|x;\theta )$ 最大的参数值，也就是极大似然估计思想。

$\theta_* = \arg \max_{\theta} L(\theta)$

$L(\theta)=P(y=i|x;\theta )=\prod ^K_{i=1}y_i^{t_i}$

但是由于下溢问题，一般取对数，进一步转化为最小化问题即为

$\theta_* = \arg \min_{\theta} L(\theta)$

$L(\theta)=-\log\prod ^K_{i=1}y_i^{t_i}$

经过变形可得下式：

$L(\theta)=-\sum^K_{i=1}t_i\log y_i， (2)$

解决此优化问题，可以用梯度下降法：需要求导；

$\frac{\partial L(\theta)}{\partial \theta}=-\sum^K_{i=1}\frac{t_i}{y_i} \frac{\partial y_i}{\partial \theta} =-\sum^K_{i=1}\sum^K_{j=1}\frac{t_i}{y_i}\frac{\partial y_i}{\partial a_j} \frac{\partial a_j}{\partial \theta}$

现在求

$\frac{\partial y_i}{\partial a_j}$

当 $j=i$ ,

$\frac{\partial y_i}{\partial a_j} =y_i(1-y_i)$

当 $j\neq i$ ,

$\frac{\partial y_i}{\partial a_j} =0$

所以

$\frac{\partial y_i}{\partial a_j} =y_i(1-y_i)$

则

$\frac{\partial L(\theta)}{\partial \theta}=-\sum^K_{i=1}\frac{t_i}{y_i} \frac{\partial y_i}{\partial \theta} =-\sum^K_{i=1}\frac{t_i}{y_i}\frac{\partial y_i}{\partial a_i} \frac{\partial a_i}{\partial \theta}$

$=-\sum^K_{i=1}\frac{t_i}{y_i}y_i(1-y_i)\frac{\partial a_i}{\partial \theta}=-\sum^K_{i=1}t_i(1-y_i)\frac{\partial a_i}{\partial \theta}$

-倾城之恋-

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
softmax函数及其应用

softmax函数实际就是一个归一化函数，以一种特殊的方式将一个向量归一化成和为1。在基于神经网络的分类任务中，经常用softmax函数将神经网络的多维输出归一化成一个概率向量，如式通常认为是样本属于第类的概率,为网络参数。概率输出经常用似然函数(likelihood function)作为loss函数。在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。...
复制链接

扫一扫