fisher线性判别算法python_Fisher线性判别(LDA)python实现

LDA概述

首先，LDA是一个用于分类的有监督算法。

基本想法非常质朴，不失一般性的以二维平面二分类为例：

对于两类样本点，我们的目的是想找一条直线，将两类样本点映射到这条直线上时，使这两类之间的类间间距最大，类内间距最小。

图形上的直观理解如下。

对于第一张图，不同类映射到同一条直线上时出现混叠区域，难以判别类别。

对于第二张图，不同类映射到同一条直线上时没有混叠，分界鲜明(类间间距最大)，且同一类内部样本距离样本中心点较近(类内间距最小)

推导

不想看的可跳过，毕竟现在都是直接调包(不过建议看下，可以深入理解算法，并且再次体会数学的美妙)

整个算法的推导是一个数学上很优美的过程，详细过程如下。

注意：在模式识别中，所有向量都是m×1形式。

定义类均值向量：

类内散度矩阵：