损失函数简介
本文意在干脆地写明白损失函数的优缺点
损失函数,又称目标函数,或误差函数,用来度量网络实际输出与期望输出之间的不一致程度,
指导网络的参数学习和表示学习。
平方损失函数(Square Loss or L 2 L_2 L2 Loss)
L
2
L_2
L2 Loss :
L
(
y
,
f
(
x
)
)
=
(
y
−
f
(
x
)
)
2
L(y,f(x)) = (y - f(x))^2
L(y,f(x))=(y−f(x))2
绝对值损失函数(Absolute Value Loss or L 1 L_1 L1 Loss)
L
1
L_1
L1 Loss :
L
(
y
,
f
(
x
)
)
=
∣
y
−
f
(
x
)
∣
L(y,f(x)) = |y - f(x)|
L(y,f(x))=∣y−f(x)∣
交叉熵损失(Cross-Entropy Loss or Log Loss)
熵:用于度量变量的不确定性程度
H ( X ) = − ∑ i = 1 n p ( x i ) log p ( x i ) H(X) = - \sum\limits_{i = 1}^n {p(x_i )\log p(} x_i ) H(X)=−i=1∑np(xi)logp(xi)
交叉熵:主要用于度量两个概率分布间的差异性信息
H ( p , q ) = − ∑ x i p ( x i ) log q ( x i ) H(p,q) = - \sum\limits_{x_i} {p(x_i )\log q(} x_i ) H(p,q)=−xi∑p(xi)logq(xi)
二分类问题的交叉熵损失函数:
对于样本(?, ?),?为样本, ?为对应的标签, 在二分类问题中,其取值的集合可能为{0,1}。假设某个样本真实标签为?,该样本的? = 1的概率为?,则该样本的损失函数为:− (????(?) + 1 − ? log(1 − ?))。
Softmax回归 (Softmax Regression)
- 交叉熵和Softmax在多分类问题的结合应用
- 交叉熵可用于比较softmax输出和独热编码(one-hot encoding)输出之间的距离
独热编码 (One-hot Encoding)
在分类问题中,独热编码是一种表示目标变量或类别的方法。目标变量可以把字符串标签转换为独热编码向量。一个独热向量在目标类别的索引处填充1,在其他地方填充0。例如,如果目标类别是猫和狗,它们可以分别用 [1,0]和[0,1]表示。对于1000个类别,一个独热编码向量的大小为1000个整数,其中除一个数为1外全为0。
---------------------------------------------------------以下是更新的经验-------------------------------------------------------------