【深度学习】Softmax 函数

Introduction

Softmax函数，又称 归一化指数函数 。

该函数 是最流行的 分类任务目标函数，也是 Sigmoid函数 的一种 推广。可转换为交叉熵误差 (CE) 。

Softmax 将向量 等比例压缩 到 [0, 1]之间，且保证 所有元素之和 为1 。

$$softmax(i)=\frac{e^{h_{y_i}}}{{\sum }_{j=1}^C{e}^{h_j}}$$

举例：softmax( [1, 2, 3, 4, 1, 2, 3] ) = [0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]

Softmax 与 Sigmoid 的 异同

	Softmax	Sigmoid
公式	$\sigma (\mathbf{z}{)}_j=\frac{e^{z_j}}{{\sum }_{k=1}^K{e}^{z_k}}$	$S(x)=\frac{1}{1+e^{-x}}.$
本质	离散概率分布	非线性映射
任务	多分类	二分类
定义域	某个一维向量	单个数值
值域	[0,1]	(0,1)
结果之和	一定为 1	为某个正数

---

[1] 深度学习: 分类 目标函数 (交叉熵误差(CE) -> 焦点损失(FL))
[2] 深度学习: 目标函数
[3] [Machine Learning] logistic函数和softmax函数