【漫话机器学习系列】147.Softmax 归一化（Softmax Normalization）

IT古董

于 2025-03-18 12:15:37 发布

阅读量1k

点赞数 18

分类专栏：漫话机器学习系列专辑文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/IT_ORACLE/article/details/146338109

版权

243 篇文章

订阅专栏

Softmax 归一化详解

在机器学习和深度学习中，归一化（Normalization）是一种常见的数据预处理技术，目的是调整数据的数值范围，使其适应模型的学习需求。归一化可以提高模型的收敛速度，减少异常值（Outliers）对模型的影响，并提高模型的稳定性和泛化能力。

Softmax 归一化（Softmax Normalization） 是一种特殊的归一化方法，它不仅可以将数值范围缩放到 (0,1) 之间，还能将其转换为概率分布，常用于分类任务。该方法允许在不去除异常值的情况下减少它们对数据的影响。

Softmax 归一化的计算公式如下：

$X'_i = \frac{1}{1 + e^{-\frac{(X_i - \bar{X})}{\sigma}}}$

其中：

指数变换 $e^{-(X_i - \bar{X}) / \sigma}$
该部分的作用是对数据进行标准化（即 Z-score 标准化），使得数据以 均值为中心，标准差为尺度 进行调整。
Sigmoid 形式的归一化
归一化后的数值采用了 Sigmoid 形式 $\frac{1}{1+e^{-z}}$ ，其值范围在 (0,1) 之间。这使得输出的数值可以被解释为某种程度上的 概率或权重，特别适用于分类任务。
减少异常值的影响
由于指数函数的特性，对于远离均值的极端值，其指数变化的速度会变慢，从而降低异常值对整体数据的影响。这使得模型在不删除异常值的情况下，仍然能保持较好的鲁棒性。

Softmax 归一化首先通过均值 $\bar{X}$ 对数据进行平移，使得数据中心化，接着再通过 标准差 σ\sigmaσ 进行缩放，使得数据分布更加均匀。这样可以减少数据的数值范围过大或过小的问题，使得不同特征具有相同的量纲。

Softmax 归一化后的数据值处于 (0,1) 之间，这意味着：

这种特性使得数据可以适应各种不同的神经网络输入要求，提高模型的稳定性。

Softmax 归一化在机器学习和深度学习中有广泛的应用，尤其是在分类和概率分布建模中。以下是几个主要的应用场景：

在构建机器学习模型时，特征的尺度不一致可能会影响模型的学习效果。Softmax 归一化可以用于对特征进行标准化，使其在相同的尺度上，从而提高模型的训练效果。

Softmax 函数是深度学习中最常用的分类激活函数，主要用于：

多分类问题（Multiclass Classification） 在神经网络的最后一层，Softmax 归一化可以将网络输出转换为概率分布，使得总和为 1，从而可以直接用于分类决策。
注意力机制（Attention Mechanism） 在 NLP（自然语言处理）和计算机视觉任务中，Softmax 归一化可以用于计算注意力权重（Attention Weights），如 Transformer 和 BERT 结构中的自注意力机制。

在数据分析和数据挖掘中，异常值往往会对模型的学习产生较大的影响。Softmax 归一化可以在不删除异常值的情况下减少它们的影响，从而提高模型的鲁棒性。

归一化方法	公式	适用场景	特点
Min-Max 归一化	$X'_i = \frac{X_i - X_{\min}}{X_{\max} - X_{\min}}$	适用于数据分布已知、范围有限的情况	受异常值影响较大
Z-score 标准化	$X'_i = \frac{X_i - \bar{X}}{\sigma}$	适用于数据服从正态分布的情况	不能保证值的范围在 (0,1) 之间
Softmax 归一化	$X'_i = \frac{1}{1 + e^{-\frac{(X_i - \bar{X})}{\sigma}}}$	适用于分类任务、概率建模、异常值处理	适用于概率输出，降低异常值影响