损失函数简介

损失函数简介

本文意在干脆地写明白损失函数的优缺点
损失函数，又称目标函数，或误差函数，用来度量网络实际输出与期望输出之间的不一致程度，
指导网络的参数学习和表示学习。

平方损失函数（Square Loss or $L_2$ Loss)

$L_2$ Loss : $L(y,f(x))=(y-f(x){)}^2$
 

绝对值损失函数(Absolute Value Loss or $L_1$ Loss)

$L_1$ Loss : $L(y,f(x))=|y-f(x)|$
 

交叉熵损失（Cross-Entropy Loss or Log Loss)

熵：用于度量变量的不确定性程度

$$H(X)=-\sum _{i=1}^{n}p(x_i)\log p(x_i)$$

交叉熵：主要用于度量两个概率分布间的差异性信息

$$H(p,q)=-\sum _{x_i}p(x_i)\log q(x_i)$$

交叉熵损失：真实概率 ??; 模型预测概率??

二分类问题的交叉熵损失函数：

对于样本（?, ?），?为样本， ?为对应的标签, 在二分类问题中，其取值的集合可能为{0，1}。假设某个样本真实标签为?，该样本的? = 1的概率为?，则该样本的损失函数为：− (????(?) + 1 − ? log(1 − ?))。

Softmax回归 (Softmax Regression)

1. 交叉熵和Softmax在多分类问题的结合应用
2. 交叉熵可用于比较softmax输出和独热编码(one-hot encoding)输出之间的距离

独热编码 (One-hot Encoding)

在分类问题中，独热编码是一种表示目标变量或类别的方法。目标变量可以把字符串标签转换为独热编码向量。一个独热向量在目标类别的索引处填充1，在其他地方填充0。例如，如果目标类别是猫和狗，它们可以分别用 [1,0]和[0,1]表示。对于1000个类别，一个独热编码向量的大小为1000个整数，其中除一个数为1外全为0。

---------------------------------------------------------以下是更新的经验-------------------------------------------------------------