简介：个人学习分享，如有错误，欢迎批评指正。
一、概述
1. 损失函数的概念
损失函数是一种度量模型预测值与实际值之间差异的数学函数。简单来说，损失函数用来评估模型的预测结果与真实结果有多接近。它将这种差异量化为一个标量值，这个值越大，表示模型的预测结果与真实结果之间的差异越大；反之，损失越小，说明模型的预测越准确。
在监督学习中，损失函数的基本目标是通过优化算法（例如梯度下降）最小化损失函数的值，从而使得模型的预测尽可能准确。损失函数不仅影响模型的训练过程，还决定了模型的优化方向和学习速度。
2. 损失函数的作用
损失函数在机器学习和深度学习模型中起到如下几个关键作用：
- 衡量模型性能
损失函数提供了一种定量评估模型性能的方法。通过计算损失函数的值，可以明确知道模型在当前状态下预测的准确性。常见的评价指标如准确率（accuracy）和F1-score虽然也可以用来评估模型的效果，但它们无法直接用于指导模型参数的优化，而损失函数则可以在训练过程中提供直接的优化信号。 - 指导模型优化
损失函数是优化算法的核心驱动力。机器学习模型的训练过程通常是一个优化问题，即通过最小化损失函数来调整模型的参数，使模型的预测更接近真实值。例如，在梯度下降法中，损失函数的梯度信息用于更新模型参数的值，以逐步减小损失函数的值，从而提高模型的性能。 - 调节模型复杂度
某些损失函数中会引入正则化项，这些正则化项可以抑制模型的过拟合现象。正则化是一种对模型参数施加约束的技术，它通过在损失函数中添加额外的项（如L1或L2正则化），来避免模型过度拟合训练数据，增强模型的泛化能力。 - 影响模型的学习速度
不同的损失函数对模型的学习速度有不同的影响。比如，均方误差（MSE）对大误差的惩罚更严重，这可能导致模型收敛速度较慢，但能够更好地纠正大误差；而均绝对误差（MAE）对异常值不敏感，可能会加快模型的收敛速度。
二、 均方误差（Mean Squared Error, MSE）
1.定义：
均方误差（MSE）用于衡量模型预测值与真实值之间的差异。它通过计算预测值与真实值之间差异的平方，并取这些平方差的平均值来量化预测误差。MSE 是连续数值预测任务中最常用的损失函数之一，它特别注重大误差，因为大误差在平方后会对最终的损失值产生更大的影响。
2.计算公式：
均方误差的公式如下：
MSE = 1 n ∑ i = 1 n ( y i − y i ^ ) 2 \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} \left(y_i - \hat{y_i}\right)^2 MSE=n1i=1∑n(yi−yi^)2
其中：
- n n n 是样本的总数。
- y i y_i yi 是第 i i i 个样本的实际值（真值）。
- y i ^ \hat{y_i} yi^ 是第 i i i 个样本的预测值。
- ( y i − y i ^ ) \left(y_i - \hat{y_i}\right) (yi−yi^) 是第 i i i 个样本的预测误差（即预测值与实际值之间的差异）。
3.python代码
import numpy as np
# 定义均方误差函数
def mean_squared_error(y_true, y_pred):
"""
计算均方误差
:param y_true: 实际值列表或数组
:param y_pred: 预测值列表或数组
:return: 均方误差
"""
y_true = np.array(y_true)
y_pred = np.array(y_pred)
mse = np.mean((y_true - y_pred) ** 2)
return mse
# 示例数据
y_true = [3, -0.5, 2, 7]
y_pred = [2.5, 0.0, 2, 8]
# 计算均方误差
mse_value = mean_squared_error(y_true, y_pred)
print(f"均方误差: {mse_value}")
4.优缺点
优点
1. 对大误差的敏感性: MSE 对大误差更加敏感，因为误差值在平方后会被放大。这意味着 MSE
会鼓励模型尽量减少大误差，对于需要特别关注较大偏差的应用场景，MSE 是一种有效的损失度量。
2. 数学性质良好: MSE 是连续且可微的，这使得它在使用梯度下降等优化算法时具有良好的数学性质，计算方便且稳定。
缺点
1. 对异常值的敏感性: MSE对异常值（outliers）非常敏感，因为这些异常值的误差在平方后会被放大，从而对整体损失产生不成比例的影响。这可能会导致模型过度拟合这些异常点。
2. 不能直接解释误差大小:由于误差的平方导致MSE的单位和原始数据的单位不同，因此MSE的值不能直接用于解释误差大小，必须通过平方根（即RMSE）来转换为与原始数据相同的单位。
三、 均方绝对误差（Mean Absolute Error, MAE）
1.定义：
均方绝对误差（MAE）是用于衡量模型预测值与实际值之间差异的一种损失函数。它通过计算预测值与实际值之间差异的绝对值并取这些绝对值的平均值来量化误差。MAE 是回归任务中常用的损失函数之一，与均方误差不同的是，它对大误差的处理更为温和。
2.计算公式：
均方绝对误差的公式如下：
MAE = 1 n ∑ i = 1 n ∣ y i − y i ^ ∣ \text{MAE} = \frac{1}{n} \sum_{i=1}^{n} \left|y_i - \hat{y_i}\right| MAE=n1i=1∑n∣yi−yi^∣
其中：
- n n n 是样本的总数。
- y i y_i yi 是第 i i i 个样本的实际值（真值）。
- y i ^ \hat{y_i} yi^ 是第 i i i 个样本的预测值。
- ∣ y i − y i ^ ∣ \left|y_i - \hat{y_i}\right| ∣yi−yi^∣ 是第 i i i 个样本的预测误差的绝对值。
3.python代码
import numpy as np
# 定义均方绝对误差函数
def mean_absolute_error(y_true, y_pred):
"""
计算均方绝对误差
:param y_true: 实际值列表或数组
:param y_pred: 预测值列表或数组
:return: 均方绝对误差
"""
y_true = np.array(y_true)
y_pred = np.array(y_pred)
mae = np.mean(np.abs(y_true - y_pred))
return mae
# 示例数据
y_true = [3, -0.5, 2, 7]
y_pred = [2.5, 0.0, 2, 8]
# 计算均方绝对误差
mae_value = mean_absolute_error(y_true, y_pred)
print(f"均方绝对误差: {mae_value}")
4.优缺点
优点
1. 对异常值的鲁棒性: 相较于均方误差，MAE对异常值更为鲁棒，因为它只对误差的绝对值进行处理，而不会因为误差的平方放大异常值的影响。因此，MAE 在存在异常值的情况下通常表现更好。
2. 直接解释误差: MAE 的值与原始数据的单位相同，因此可以直接用于解释模型预测的平均误差大小，这一点在实际应用中很有意义。
缺点
1. 对小误差的敏感性较低: 由于 MAE 只考虑误差的绝对值，它对较小的误差敏感性较低，不如均方误差能够强调修正大误差的需求。
2. 不可微性: 在误差为零点处，MAE 的梯度是不可微的，这可能会导致一些优化算法（例如梯度下降）在训练过程中收敛速度较慢或不稳定。
四、 二元交叉熵损失（Binary Cross-Entropy Loss）
1.定义：
二元交叉熵损失（Binary Cross-Entropy Loss）是用来衡量模型在二分类任务中输出的概率分布与真实标签之间的差异的一种损失函数。交叉熵损失本质上是一个对数损失，它惩罚模型给出错误的高置信度预测（即预测的概率与实际标签相差较大）。在二分类任务中，模型的输出通常是一个介于0和1之间的概率，代表属于某一类别的可能性。
2.计算公式：
二元交叉熵损失的公式如下：
Binary Cross-Entropy = − 1 n ∑ i = 1 n [ y i log ( y i ^ ) + ( 1 − y i ) log ( 1 − y i ^ ) ] \text{Binary Cross-Entropy} = -\frac{1}{n} \sum_{i=1}^{n} \left[y_i \log(\hat{y_i}) + (1 - y_i) \log(1 - \hat{y_i})\right] Binary Cross-Entropy=−n1i=1∑n[yilog(yi^)+(1−yi)log(1−yi^)]
其中：
- n n n 是样本的总数。
- y i y_i yi 是第 i i i 个样本的真实标签（0或1）。
- y i ^ \hat{y_i} yi^ 是第 i i i 个样本的预测概率（属于类别1的概率）。
- log \log log 是自然对数函数。
3.python代码
import numpy as np
# 定义二元交叉熵损失函数
def binary_cross_entropy(y_true, y_pred):
"""
计算二元交叉熵损失
:param y_true: 实际标签列表或数组 (0或1)
:param y_pred: 预测概率列表或数组 (介于0和1之间)
:return: 二元交叉熵损失
"""
y_true = np.array(y_true)
y_pred = np.array(y_pred)
# 防止log(0)的情况，通过添加一个小的epsilon
epsilon = 1e-15
y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
bce = -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))
return bce
# 示例数据
y_true = [1, 0, 1, 0]
y_pred = [0.9, 0.2, 0.8, 0.1]
# 计算二元交叉熵损失
bce_value = binary_cross_entropy(y_true, y_pred)
print(f"二元交叉熵损失: {bce_value}")
4.优缺点
优点:
1. 处理概率性预测:二元交叉熵损失能够直接处理模型输出的概率值，这对于二分类任务特别合适。它通过对错误的高置信度预测进行较大惩罚，从而提高模型的预测质量。
2. 梯度良好: 该损失函数是连续且可微的，因此在使用梯度下降等优化算法时，模型参数能够平稳更新，确保训练过程的稳定性。
缺点:
1. 对不平衡数据敏感:在类别分布严重不平衡的情况下，二元交叉熵损失可能会导致模型倾向于预测频率较高的类别。为了应对这种情况，通常需要对损失进行加权处理或者采取其他数据平衡策略。
2. 数值稳定性问题:当预测概率非常接近0或1时，计算对数可能会导致数值稳定性问题（例如，log(0)会导致无穷大）。虽然可以通过对概率值进行裁剪来缓解这一问题，但仍需小心处理。
五、多元交叉熵损失（Categorical Cross-Entropy Loss）
1.定义：
多元交叉熵损失（Categorical Cross-Entropy Loss）是用于多分类任务中的一种损失函数。在这些任务中，模型的输出通常是一个概率分布，表示每个类别的概率。多元交叉熵损失通过计算真实标签分布与模型预测分布之间的交叉熵来评估模型的预测质量。它惩罚模型给出错误的高置信度预测，旨在最小化预测分布与真实分布之间的差异。
2.计算公式：
多元交叉熵损失的公式如下：
Categorical Cross-Entropy = − ∑ i = 1 n ∑ j = 1 k y i j log ( y i j ^ ) \text{Categorical Cross-Entropy} = -\sum_{i=1}^{n} \sum_{j=1}^{k} y_{ij} \log(\hat{y_{ij}}) Categorical Cross-Entropy=−i=1∑nj=1∑kyijlog(yij^)
其中：
- n n n 是样本的总数。
- k k k 是类别的总数。
- y i j y_{ij} yij 是第 i i i 个样本在第 j j j 类的真实标签（通常是 one-hot 编码，只有一个值为1，其余为0）。
- y i j ^ \hat{y_{ij}} yij^ 是模型预测的第 i i i 个样本属于第 j j j 类的概率。
- log \log log 是自然对数函数。
3.python代码
import numpy as np
# 定义多元交叉熵损失函数
def categorical_cross_entropy(y_true, y_pred):
"""
计算多元交叉熵损失
:param y_true: 实际标签，one-hot 编码格式
:param y_pred: 预测概率，归一化后的概率分布
:return: 多元交叉熵损失
"""
y_true = np.array(y_true)
y_pred = np.array(y_pred)
# 防止log(0)的情况，通过添加一个小的epsilon
epsilon = 1e-15
y_pred = np.clip(y_pred, epsilon, 1 - epsilon)
# 计算交叉熵
cross_entropy = -np.sum(y_true * np.log(y_pred)) / y_true.shape[0]
return cross_entropy
# 示例数据
y_true = [[1, 0, 0], [0, 1, 0], [0, 0, 1]] # One-hot 编码的真实标签
y_pred = [[0.7, 0.2, 0.1], [0.1, 0.8, 0.1], [0.2, 0.3, 0.5]] # 预测概率分布
# 计算多元交叉熵损失
cross_entropy_value = categorical_cross_entropy(y_true, y_pred)
print(f"多元交叉熵损失: {cross_entropy_value}")
4.优缺点
优点
1. 处理概率分布的灵活性: 多元交叉熵损失可以直接处理模型输出的概率分布，适用于多分类任务和二分类任务。它通过惩罚错误的高置信度预测来提高模型的预测准确性。
2. 广泛应用: 多元交叉熵损失在深度学习模型（如神经网络）中被广泛应用，尤其是在图像分类、文本分类等多分类任务中表现良好。
缺点
1. 对不平衡数据的敏感性: 在类别分布不平衡的情况下，多元交叉熵损失可能会导致模型倾向于预测频率较高的类别。为了解决这个问题，通常需要引入类别权重或采用其他数据平衡策略。
2. 数值稳定性问题:由于计算对数时可能会遇到极端小的概率值（接近0），多元交叉熵损失可能会出现数值不稳定的情况。尽管可以通过对概率进行裁剪来缓解这个问题，但这仍需谨慎处理。
六、Huber损失（Huber Loss）
1.定义：
Huber损失是一种对误差敏感度较低的损失函数，它在误差较小时表现为均方误差（MSE），而在误差较大时表现为均绝对误差（MAE）。这样可以在保留对小误差敏感性的同时减少对异常值的影响。Huber损失的关键是通过一个阈值（通常记为
δ
δ
δ）来决定切换点，使得误差在达到阈值之前使用平方误差，超过阈值后使用绝对误差。
2.计算公式：
Huber损失的公式如下：
L δ ( a ) = { 1 2 a 2 if ∣ a ∣ ≤ δ δ ⋅ ( ∣ a ∣ − 1 2 δ ) if ∣ a ∣ > δ L_{\delta}(a) = \begin{cases} \frac{1}{2} a^2 & \text{if } |a| \leq \delta \\ \delta \cdot (|a| - \frac{1}{2} \delta) & \text{if } |a| > \delta \end{cases} Lδ(a)={21a2δ⋅(∣a∣−21δ)if ∣a∣≤δif ∣a∣>δ
其中：
- a = y i − y i ^ a = y_i - \hat{y_i} a=yi−yi^ 是预测值与实际值之间的误差。
- δ \delta δ 是一个可调的阈值，决定了误差切换点。
- 当误差 ∣ a ∣ |a| ∣a∣ 小于或等于 δ \delta δ 时，使用平方损失；当误差 ∣ a ∣ |a| ∣a∣ 大于 δ \delta δ 时，使用线性损失。
3.python代码
import numpy as np
# 定义Huber损失函数
def huber_loss(y_true, y_pred, delta=1.0):
"""
计算Huber损失
:param y_true: 实际值列表或数组
:param y_pred: 预测值列表或数组
:param delta: 阈值，默认为1.0
:return: Huber损失
"""
y_true = np.array(y_true)
y_pred = np.array(y_pred)
error = y_true - y_pred
is_small_error = np.abs(error) <= delta
squared_loss = 0.5 * np.square(error)
linear_loss = delta * (np.abs(error) - 0.5 * delta)
huber = np.where(is_small_error, squared_loss, linear_loss)
return np.mean(huber)
# 示例数据
y_true = [3, -0.5, 2, 7]
y_pred = [2.5, 0.0, 2, 8]
# 计算Huber损失
huber_value = huber_loss(y_true, y_pred, delta=1.0)
print(f"Huber损失: {huber_value}")
4.优缺点
优点
1. 对异常值的鲁棒性:Huber损失在处理异常值时比均方误差（MSE）表现更好，因为当误差超过阈值时，损失函数切换为线性增长，这减少了异常值对整体损失的影响。
2. 兼具MSE和MAE的优点: 当误差较小时，Huber损失与MSE类似，对小误差敏感；当误差较大时，它更像MAE，对大误差的影响较小。
缺点
1. 阈值选择困难: Huber损失中的阈值
δ
δ
δ 需要手动设置，不同的任务可能需要不同的阈值，选择不当可能会影响模型性能。
2. 计算复杂度较高: 相较于直接使用MSE或MAE，Huber损失的计算稍微复杂一些，特别是在需要频繁计算损失的应用场景中。
七、 KL散度（Kullback-Leibler Divergence, KLD）
1.定义：
KL散度度量了衡量一个概率分布与另一个参考概率分布之间的差异。具体来说，它衡量的是在使用一个分布
Q
Q
Q 来近似另一个分布
P
P
P 时，所需额外信息的多少。KL散度是非对称的，这意味着
D
K
L
(
P
∣
∣
Q
)
D_{KL}(P||Q)
DKL(P∣∣Q) 与
D
K
L
(
Q
∣
∣
P
)
D_{KL}(Q||P)
DKL(Q∣∣P) 一般不相等。
KL散度通常用于衡量真实分布（目标分布）与预测分布（模型分布）之间的差异，并且在概率分布完全相同的时候，KL散度为零。
2.计算公式：
KL散度的公式如下：
D K L ( P ∣ ∣ Q ) = ∑ i P ( i ) log P ( i ) Q ( i ) D_{KL}(P||Q) = \sum_{i} P(i) \log \frac{P(i)}{Q(i)} DKL(P∣∣Q)=i∑P(i)logQ(i)P(i)
其中：
- P P P 是目标概率分布（真实分布）。
- Q Q Q 是近似的概率分布（预测分布）。
- i i i 表示分布中的每个可能的事件。
3.python代码
import numpy as np
# 定义KL散度函数
def kl_divergence(p, q):
"""
计算KL散度
:param p: 目标概率分布
:param q: 预测概率分布
:return: KL散度
"""
p = np.array(p, dtype=np.float32)
q = np.array(q, dtype=np.float32)
# 防止log(0)的情况，通过添加一个小的epsilon
epsilon = 1e-10
p = np.clip(p, epsilon, 1)
q = np.clip(q, epsilon, 1)
return np.sum(p * np.log(p / q))
# 示例数据
p = [0.1, 0.4, 0.5] # 目标分布
q = [0.2, 0.3, 0.5] # 预测分布
# 计算KL散度
kl_value = kl_divergence(p, q)
print(f"KL散度: {kl_value}")
4.优缺点
优点
-
衡量分布差异的有效工具: KL散度能够定量衡量两个概率分布之间的差异，是在机器学习模型中评价预测分布与真实分布差异的重要工具。
-
信息理论中的重要性: KL散度在信息论中具有重要意义，它可以解释为在使用近似分布 Q Q Q 来编码事件而不是真实分布 P P P 时，每个事件平均多出的编码长度。
缺点
-
非对称性: KL散度是不对称的，即 D K L ( P ∣ ∣ Q ) ≠ D K L ( Q ∣ ∣ P ) D_{KL}(P||Q) \neq D_{KL}(Q||P) DKL(P∣∣Q)=DKL(Q∣∣P)。这种非对称性意味着KL散度并不能直接用来衡量两个分布之间的相似度。
-
对零概率的敏感性: 如果 Q ( i ) Q(i) Q(i) 中有接近于零的值（尤其是在分类任务中未出现的类别），KL散度会变得非常大，甚至可能导致数值计算问题。这需要在计算时进行特殊处理，比如添加一个小的正数epsilon。
八、 对比损失（Contrastive Loss）
1.定义：
对比损失主要用于Siamese网络或度量学习中，它的目标是让相似的样本对在特征空间中的距离尽可能小，而不相似的样本对的距离尽可能大。具体来说，给定一对样本，如果它们是相似的，模型应当将它们映射到特征空间中的相近点；如果它们是不相似的，模型应当将它们映射到特征空间中的远离点。
2.计算公式：
对比损失的公式如下：
L = 1 2 N ∑ i = 1 N [ y i ⋅ d i 2 + ( 1 − y i ) ⋅ max ( 0 , m − d i ) 2 ] L = \frac{1}{2N}\sum_{i=1}^{N} \left[ y_i \cdot d_i^2 + (1-y_i) \cdot \max(0, m - d_i)^2 \right] L=2N1i=1∑N[yi⋅di2+(1−yi)⋅max(0,m−di)2]
其中：
- N N N 是样本对的总数。
- y i y_i yi 是第i对样本的标签，表示样本对是否相似。 y i = 1 y_i = 1 yi=1 表示相似， y i = 0 y_i = 0 yi=0 表示不相似。
- d i d_i di是第i对样本在特征空间中的欧氏距离（或其他距离度量）。
- m m m 是一个预设的距离阈值，用于区分不相似样本对的最小距离。
3.python代码
import numpy as np
# 定义欧氏距离函数
def euclidean_distance(vec1, vec2):
"""
计算两个向量之间的欧氏距离
:param vec1: 向量1
:param vec2: 向量2
:return: 欧氏距离
"""
return np.sqrt(np.sum(np.square(vec1 - vec2)))
# 定义对比损失函数
def contrastive_loss(y_true, dist, margin=1.0):
"""
计算对比损失
:param y_true: 实际标签，1表示相似，0表示不相似
:param dist: 样本对之间的距离
:param margin: 阈值，默认为1.0
:return: 对比损失
"""
y_true = np.array(y_true)
dist = np.array(dist)
loss = y_true * np.square(dist) + (1 - y_true) * np.square(np.maximum(0, margin - dist))
return np.mean(loss) / 2.0
# 示例数据
vec1 = np.array([1.0, 2.0])
vec2 = np.array([2.0, 3.0])
vec3 = np.array([10.0, 10.0])
# 计算距离
dist_similar = euclidean_distance(vec1, vec2)
dist_dissimilar = euclidean_distance(vec1, vec3)
# 标签：vec1与vec2相似，vec1与vec3不相似
y_true = [1, 0]
# 计算对比损失
loss_value = contrastive_loss(y_true, [dist_similar, dist_dissimilar])
print(f"对比损失: {loss_value}")
4.优缺点
优点
- 适用于度量学习：对比损失能够有效地学习到特征空间的距离度量，对于任务中的相似性判断非常有帮助，广泛应用于人脸识别、图像检索等需要精确度量相似度的场景。
- 可处理不平衡数据： 在处理相似和不相似样本对的不平衡时，对比损失能够通过设置不同的距离阈值 m m m 来调整模型对不同类别的敏感性。
缺点
- 计算复杂度较高: 计算对比损失时，需要计算每对样本之间的距离，这在样本对数量较大时可能导致计算开销较大。
- 依赖样本对的选择: 对比损失对训练过程中样本对的选择非常敏感，错误的样本对选择可能会导致模型学习到不准确的特征空间。
九、 总结
- 应用场景:MSE和MAE主要用于回归任务；二元交叉熵损失和多元交叉熵损失用于分类任务；Huber损失适合处理含有异常值的回归任务；KL散度在生成模型和概率分布的比较中常用；对比损失则用于度量学习和相似性任务。
- 对异常值的处理:MSE对异常值敏感，而MAE、Huber损失对异常值相对鲁棒。Huber损失结合了MSE和MAE的优点，在处理异常值时更为平衡。
- 模型优化: 交叉熵损失在分类问题中表现优异，特别适合处理概率输出。KL散度用于衡量两个概率分布之间的差异，广泛应用于生成模型的训练。
- 计算复杂度与灵活性: MSE和MAE的计算较为简单，适用于大部分回归任务；KL散度和对比损失的计算复杂度较高，适用于需要精细度量的任务。
- 不平衡数据的处理:交叉熵损失（尤其是多元交叉熵损失）对不平衡数据敏感，可能需要额外的处理，如引入类别权重。MAE和Huber损失在回归任务中较为稳健，不易受到不平衡数据的影响。
通过对不同损失函数的理解，可以根据任务类型和数据特点选择最合适的损失函数，以优化模型性能并提高预测准确性。
参考文献：
常见的损失函数总结
结~~~
1573
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
