神经网络小记-损失函数与激活函数

常见激活函数

在深度学习中，激活函数被用于引入非线性性质，增强模型的表示能力。下面是一些常用的激活函数及其应用场景的详细介绍：

1. Sigmoid 函数：

   • 公式：f(x) = 1 / (1 + exp(-x))
   • 特点：Sigmoid 函数将输入值映射到 (0, 1) 的区间，常用于二分类问题中作为输出层的激活函数。它可以将输出解释为概率，并具有平滑的非线性特性。但是，Sigmoid 函数在输入较大或较小时容易饱和，并且梯度消失问题会导致训练困难。

2. Tanh 函数：

   • 公式：$f(x)=(exp(x)-exp(-x))/(exp(x)+exp(-x))$
   • 特点：Tanh 函数将输入值映射到 (-1, 1) 的区间，具有与 Sigmoid 函数类似的形状，但输出的均值为 0。它常用于隐藏层的激活函数，能够处理负值输入。然而，Tanh 函数也容易饱和，并且存在梯度消失问题。

3. ReLU 函数（Rectified Linear Unit）：

   • 公式：$f(x)=max(0,x)$
   • 特点：ReLU 函数在 x 大于 0 时输出 x，而在 x 小于等于 0 时输出 0。ReLU 函数简单有效，能够处理稀疏激活和非线性特征，且计算速度快。但是，ReLU 函数在负值区间上不可导，并且可能存在神经元死亡（Dead ReLU）问题。

4. Leaky ReLU 函数：

   • 公式：$f(x)=max(\alpha x,x)$，其中 α 是小于 1 的常数
   • 特点：Leaky ReLU 函数与 ReLU 函数类似，但在负值区间上引入了一个小的斜率，以解决 ReLU 函数中的神经元死亡问题。它保留了 ReLU 的优点，并在一些场景下表现更好。

5. Softmax 函数：

   • 公式：$f(x_i)=exp(x_i)/\Sigma (exp(x_j))$，其中 Σ 表示求和计算
   • 特点：Softmax 函数常用于多分类问题的输出层。它将输入向量的每个元素映射到 (0, 1) 区间，并保证所有元素的和为 1。Softmax 函数可以将输入解释为类别的概率分布。

6. Swish 函数：

   • 公式：$f(x)=x\ast sigmoid(x)$
   • 特点：Swish 函数是一种类似于 ReLU 的激活函数，在某些场景下表现出更好的性能。Swish 函数在正区间上有线性增长，并在负区间上有非线性形状。

如果选择不合适的激活函数，对神经网络可能会产生以下影响：

1. 梯度消失或梯度爆炸：某些激活函数在深层网络中容易导致梯度消失或梯度爆炸的问题。梯度消失指的是在反向传播过程中，梯度逐渐变小导致无法有效更新网络参数；梯度爆炸则是梯度变得非常大，导致参数更新过程不稳定。这会影响模型的收敛性和训练效果。

2. 饱和区域：某些激活函数在输入较大或较小时会饱和，导致梯度变得非常小。这会使神经元在训练过程中变得不可训练，即梯度接近于零，无法有效更新权重。

3. 神经元死亡：某些激活函数对负值输入输出为零，导致神经元失活，无法激活和传播信息。这会导致部分神经元无法发挥作用，降低了网络的表达能力。

4. 非线性性能受限：某些线性激活函数（如恒等函数）无法引入非线性变换，限制了网络的表示能力，使其难以处理复杂的非线性关系。

5. 计算效率低下：某些复杂的激活函数可能导致计算复杂度较高，增加了网络的计算负担。

因此，选择合适的激活函数对神经网络的训练和性能至关重要。应根据任务的特点、网络的深度和数据的分布等因素来选择适合的激活函数，平衡非线性性能、梯度稳定性和计算效率。

下面是不同激活函数的应用场景、优缺点：

激活函数	应用场景	优点	缺点
Sigmoid	二分类问题、输出层概率化	- 输出范围在(0,1)之间，可用作概率估计	- 容易出现梯度消失的问题
Tanh	隐藏层激活函数	- 输出范围在(-1,1)之间，可对称化网络输出	- 仍然容易出现梯度消失的问题
ReLU	隐藏层激活函数	- 计算速度快 - 解决了梯度消失问题	- 对负数输入输出为0，存在神经元死亡问题
Leaky ReLU	隐藏层激活函数	- 解决了ReLU中神经元死亡问题 - 有非零输出负数范围	- 对负数输入仍然存在输出为0的情况
ELU	隐藏层激活函数	- 解决了ReLU中神经元死亡问题 - 有负数输入时有非零输出	- 计算复杂度较高 - 对正数输入仍然存在输出为0的情况
Softmax	多类别分类问题、输出层概率化	- 输出范围在(0,1)之间，用于多类别分类任务	- 容易出现梯度消失的问题
Swish	隐藏层激活函数	- 平滑且非线性的激活函数	- 计算复杂度较高

常见损失函数

1. 均方误差损失（Mean Squared Error, MSE）：

   • 损失函数公式：$MSE=(1/n)\ast \Sigma (y-\hat{y}{)}^2$
   • 应用场景：回归问题，例如房价预测、连续值预测等。MSE 损失函数衡量了预测值和真实值之间的平方差，适用于连续数值的预测任务。

2. 交叉熵损失（Cross-Entropy Loss）：

   • 损失函数公式：$CE=-\Sigma ylog(\hat{y})$
   • 应用场景：分类问题，特别是多分类问题。交叉熵损失函数可以衡量预测分布和真实分布之间的差异，促使模型更好地学习类别之间的边界。

3. 二元交叉熵损失（Binary Cross-Entropy Loss）：

   • 损失函数公式：$BCE=-ylog(\hat{y})-(1-y)log(1-\hat{y})$
   • 应用场景：二分类问题。二元交叉熵损失函数衡量了预测概率与真实标签之间的差异，广泛应用于二分类问题，如情感分析、垃圾邮件分类等。

4. 对数似然损失（Log-Likelihood Loss）：

   • 损失函数公式：$LL=-\Sigma ylog(\hat{y})$
   • 应用场景：分类问题，特别是多分类问题。对数似然损失函数在最大似然估计中常用，用于衡量预测分布和真实分布之间的差异。

5. Hinge损失：

   • 损失函数公式：$HL=max(0,1-y\hat{y})$
   • 应用场景：支持向量机（SVM）中常用的损失函数。Hinge损失函数主要应用于二分类问题，鼓励模型将正例和负例之间的边界拉开。

6. KL 散度损失（Kullback-Leibler Divergence Loss）：

   • 损失函数公式：$KL=\Sigma ylog(y/\hat{y})$
   • 应用场景：生成模型中常用的损失函数。KL 散度损失函数用于衡量模型生成分布与真实分布之间的差异，常见于变分自编码器（VAE）等模型。

7. 余弦相似度损失（Cosine Similarity Loss）：

   • 损失函数公式：$CSL=1-cos(\theta )$
   • 应用场景：度量学习和相似度比较问题。余弦相似度损失函数衡量了向量之间的余弦相似度，用于优化模型使得相似的样本之间的距离更近。

如果损失函数选择不合适或设计不好，可能会对神经网络产生以下影响：

1. 收敛困难：不好的损失函数可能导致训练过程中网络的收敛速度变慢，或者无法收敛到合理的解。

2. 梯度消失或梯度爆炸：损失函数不合适可能导致梯度计算时出现梯度消失或梯度爆炸的问题，使得网络的更新变得困难或不稳定。

3. 无法优化：不合适的损失函数可能导致网络无法优化，即使经过多次迭代，模型性能也无法得到有效改善。

4. 错误的梯度信号：损失函数设计不当可能导致梯度信号的失真或不准确，使得网络无法正确地学习和调整参数。

5. 过拟合或欠拟合：损失函数选择不当可能导致模型在训练集上过度拟合或欠拟合，无法泛化到未见过的数据。

6. 不合理的优化方向：不好的损失函数可能导致网络在优化过程中朝着不合理的方向调整参数，从而得到错误的结果。

因此，选择合适的损失函数对于神经网络的训练和优化非常重要。需要根据具体的任务需求和数据特点，合理设计损失函数，并进行反复验证和调整，以确保模型能够获得最佳性能。

下面是不同损失函数的应用场景、优缺点：

损失函数	应用场景	优点	缺点
均方误差损失	回归任务	- 易于优化 - 对异常值不敏感	- 不适用于分类任务 - 梯度下降速度较慢 - 可能导致过拟合
交叉熵损失	分类任务	- 对分类问题更敏感 - 梯度下降速度较快	- 不适用于回归任务
对数似然损失	二分类任务	- 对二分类问题更敏感 - 梯度下降速度较快	- 不适用于多分类任务 - 对样本不平衡敏感
Hinge损失	支持向量机分类	- 适用于支持向量机算法 - 对离群点不敏感	- 不适用于回归任务 - 不适用于多类别分类任务 - 只关注错误分类样本
KL散度损失	生成模型、变分自编码器	- 衡量两个概率分布之间的差异 - 用于无监督学习、生成模型等任务	- 不适用于分类任务
信息熵损失	多类别分类任务	- 鼓励模型输出概率分布的均匀性 - 对多类别分类问题有效	- 计算复杂度高
负对数似然损失	逻辑回归、多类别分类任务	- 对逻辑回归和多类别分类任务有效 - 梯度下降速度较快	- 不适用于回归任务
平均绝对误差	回归任务	- 对异常值不敏感	- 梯度下降速度较慢
余弦相似度损失	推荐系统、相似度学习	适用于衡量向量之间的相似度 鼓励学习具有相似特征的样本	- 不适用于分类任务 - 计算复杂度较高 - 可能受数据量级的影响

分类问题为什么用交叉熵损失函数不用MSE

分类问题使用交叉熵损失函数而不是均方误差（MSE）损失函数的主要原因是交叉熵损失函数更适合度量分类问题中的错误率。

1. 输出层激活函数不同：

   • 分类问题的输出层通常使用Softmax激活函数，将输出转换为概率分布，表示每个类别的概率。
   • 均方误差损失函数不考虑概率分布，而是直接度量模型输出与目标值之间的差异，这在分类问题中不适合。

2. 处理类别不平衡：

   • 在分类问题中，不同类别的样本数量可能不平衡。交叉熵损失函数能够更好地处理类别不平衡情况，对于较少样本的类别给予更大的权重。
   • 均方误差损失函数对于不平衡类别的样本处理不够敏感，可能导致模型对于数量较少的类别预测不准确。

3. 优化效果：

   • 交叉熵损失函数在分类问题中往往比均方误差损失函数更容易优化，收敛速度更快。
   • 均方误差损失函数可能会导致梯度消失问题，特别是在使用Sigmoid激活函数时。

总体来说，交叉熵损失函数更适用于分类问题，特别是多类别分类问题，它能够更好地反映模型预测与实际类别之间的概率分布差异，有助于优化模型并提高分类准确率。在分类问题中，交叉熵损失函数被广泛应用，并且在深度学习任务中取得了良好的效果。