线性鉴别分析(LDA)之二分类问题

线性鉴别分析是有监督的学习方法。

已知数据集

子集和，满足，中的数据属于类，中的数据属于类。

定义两个子集的平均值：

         ，

已知向量，我们定义：

，，

显然存在以下关系：

，，。

我们接着定义标准差和，其中

，。

下面我们换算一下上面的两个方差公式：

，

其中：

，。

定义类内散布矩阵：

。

定义类间散布矩阵：

。

————————————————————————————————————————————————————————————————————————————
有了以上的定义准则函数：

，

然后寻找 ，最大化这个准则函数。对准则函数求导，我们发现

。

而且 和 是平行的。结合这两点我们发现，只要找的 ，满足 和 平行即可。如果 是非奇异的，那么我们可以取

，

即可。

————————————————————————————————————————————————————————————————————————————
求出 后，我们对新的数据 进行预测，预测公式为：

。