# 入门级都能看懂的softmax详解

28 篇文章 40 订阅
17 篇文章 98 订阅

### 2.softmax的定义

(图片来自网络)

S i = e i ∑ j e j S_i = \frac{e^i}{\sum_j e^j}

1.softmax设计的初衷，是希望特征对概率的影响是乘性的。
2.多类分类问题的目标函数常常选为cross-entropy。即 L = − ∑ k t k ⋅ l n P ( y = k ) L = -\sum_k t_k \cdot lnP(y=k) ，其中目标类的 t k t_k 为1，其余类的 t k t_k 为0。

### 3.softmax求导

L o s s = − ∑ i t i l n y i Loss = - \sum_i t_i lny_i

L o s s i = − l n y i Loss_i = -lny_i

y i = e i ∑ j e j y_i = \frac{e^i}{\sum_j e^j}

e i ∑ j e j = 1 − ∑ j ≠ i e j ∑ j e j \frac{e^i}{\sum_j e^j} = 1 - \frac{\sum_{j \neq i} e^j}{\sum_j e^j}

∂ L o s s i ∂ i = − ∂ l n y i ∂ i = ∂ ( − l n e i ∑ j e j ) ∂ i = − 1 e i ∑ j e j ⋅ ∂ ( e i ∑ j e j ) ∂ i = − ∑ j e j e i ⋅ ∂ ( 1 − ∑ j ≠ i e j ∑ j e j ) ∂ i = − ∑ j e j e i ⋅ ( − ∑ j ≠ i e j ) ⋅ ∂ ( 1 ∑ j e j ) ∂ i = ∑ j e j ⋅ ∑ j ≠ i e j e i ⋅ − e i ( ∑ j e j ) 2 = − ∑ j ≠ i e j ∑ j e j = − ( 1 − e i ∑ j e j ) = y i − 1 {\begin{aligned} \frac{\partial Loss_i}{\partial _i} & = - \frac{\partial ln y_i}{\partial _i} \\ & = \frac{\partial (-ln \frac{e^i}{\sum_j e^j}) }{\partial _i} \\ & = - \frac {1}{ \frac{e^i}{\sum_j e^j}} \cdot \frac{\partial (\frac{e^i}{\sum_j e^j})}{ \partial_i} \\ & = -\frac{\sum_j e^j}{e^i} \cdot \frac{\partial (1 - \frac{\sum_{j \neq i} e^j}{\sum_j e^j}) } {\partial_i} \\ & = -\frac{\sum_j e^j}{e^i} \cdot (- \sum _ {j \neq i}e^j ) \cdot \frac{\partial( \frac {1} {\sum_j e^j} ) } { \partial _i} \\ &= \frac { \sum_j e^j \cdot \sum_{j \neq i} e^j} {e^i } \cdot \frac { - e^i} { (\sum_j e^j) ^ 2} \\ & = -\frac { \sum_{j \neq i} e^j } { \sum_j e^j } \\ & = -(1 - \frac{ e ^ i } { \sum_j e^j } ) \\ & = y_i - 1 \end{aligned}}

### 4.softmax VS k个二元分类器

1.https://www.zhihu.com/question/40403377
2.http://deeplearning.stanford.edu/wiki/index.php/Softmax回归

• 711
点赞
• 2800
收藏
觉得还不错? 一键收藏
• 66
评论
07-03
05-12 309
12-03 876
09-26
06-14 4296
07-16 9531
02-07 1202
06-05 551
05-14
05-23 499

### “相关推荐”对你有帮助么？

• 非常没帮助
• 没帮助
• 一般
• 有帮助
• 非常有帮助

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。