用于Multinoulli(多项分布)输出分布的softmax单元

单独拿一篇文章出来讲softmax单元是因为昨天去鹅厂面试,被要求给softmax求导,这么简单的事情,我竟然没有做到,所以只好以文铭志了。

话不多说。

任何时候,当我们想要表示一个具有n个可能取值的离散型随机变量的分布时,都可以使用softmax函数。它可以看作sigmoid函数的扩展,sigmoid函数用来表示二值型变量的分布。

softmax函数的形式如下:


当使用最大化对数似然训练softmax来输出目标值y时,使用指数函数工作地非常好。

对softmax函数取对数,之后的结果很容易得到。而且,我们容易观察出,当样本分类正确时,它对于整体训练代价贡献很小,这个代价主要由其他的未本正确分类的样本产生。

对于softmax的情况,它有多个输出值。当输入值之间的差异变得极端时,这些输出值可能饱和。从softmax函数中可以得到。

softmax函数更接近于argmax函数而不是max函数。“soft”这个术语来源于softmax函数是连续可微的。“agemax”函数的结果表示为一个one-hot向量,不是连续可微的。softmax函数因此提供了argmax的“软化版本”。可能最好是把softmax函数称为“softargmax”。

阅读更多
文章标签: NN
个人分类: NN
上一篇(冈萨雷斯)数字图像处理 第11章
下一篇锐化空间滤波器
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭