Fisher准则

Fisher准则，也称为Fisher判别准则（Fisher’s discriminant criterion），是一种经典的线性判别分析（LDA）方法，它被用于将数据投影到一个低维度的子空间中，以便在此子空间中更好地区分不同类别的样本。

Fisher准则的目标是最大化类间离散度（between-class scatter）与最小化类内离散度（within-class scatter）之比。具体来说，它的数学表达式如下：

[J(w) = \frac{{(w^T S_B w)}}{{(w^T S_W w)}}]

其中：

• (J(w)) 是Fisher准则，(w) 是一个投影向量，用于将数据从原始的高维空间投影到一维的子空间。

• (S_B) 是类间协方差矩阵（between-class covariance matrix），用于描述不同类别之间的关系。

• (S_W) 是类内协方差矩阵（within-class covariance matrix），用于描述同一类别内部的关系。

Fisher准则的优化目标是找到一个最优的投影向量 (w)，使得 (J(w)) 达到最大值。通过解这个优化问题，可以得到最佳的投影方向，使得在此方向上不同类别的样本分布更加分散，同时同一类别内部的样本尽量紧密聚集。

Fisher准则常被用于模式识别和分类问题中，特别是在处理具有多类别的数据集时，它可以帮助找到一个优秀的低维度表示，从而在降维后的空间中更容易进行分类。

需要指出的是，Fisher准则是一个监督学习方法，因为它需要依赖类别信息来进行类别之间的判别。

作用

Fisher准则（Fisher’s discriminant criterion）在模式识别、统计学和机器学习等领域起着重要作用。它的主要作用包括以下几个方面：

1. 降维和特征选择：

   • Fisher准则可以用于将高维数据降维到一个更低维度的子空间中，同时保留最具判别性的特征。通过最大化类间散布（between-class scatter）和最小化类内散布（within-class scatter）的比值，Fisher准则找到了最优的投影方向。

2. 模式识别：

   • 在模式识别问题中，Fisher准则可以用于将数据投影到一个低维度的子空间中，从而使得不同类别的样本在此子空间中更容易区分。

3. 线性判别分析（LDA）：

   • Fisher准则是线性判别分析（Linear Discriminant Analysis，LDA）的基础。LDA是一种经典的监督学习算法，它利用Fisher准则来将数据投影到一个低维度的子空间中，以实现分类任务。

4. 减少计算复杂度：

   • 通过降维，可以减少数据集的维度，从而降低了计算成本，并且可以提高某些模型的训练速度。

5. 可视化：

   • Fisher准则可以用于数据可视化，将高维数据投影到二维或三维空间中，以便于人们直观地理解数据的分布情况。

6. 处理多类别分类问题：

   • Fisher准则也可以扩展用于多类别分类问题，通过最大化类间散布和最小化类内散布的比值来选择最优的投影方向。

7. 特征提取：

   • Fisher准则可以帮助识别最具判别性的特征，从而可以在后续的建模过程中使用这些特征。

总的来说，Fisher准则在降维、特征选择、模式识别和分类等任务中都发挥着重要的作用。它是许多监督学习问题的基础，也在实际应用中取得了显著的成就。