Fisher分类器/LDA

最近看特征选择的方法，有一篇文章提到用fisher score来挑选特征

然后就顺手回顾一下fisher分类器和LDA

先来说LDA，不同于PCA， LDA是有监督的降维，需要类标签

它的想法是我们希望投影过后类内样本的距离尽可能小，类间样本的距离尽可能大，所以它想到用一个除式作为目标函数来求解

其中分子为样本间距离，分子为类内样本方差之和

我们通过拉格朗日乘子展开对w求偏导，和PCA一样又能转化为求特征值和特征向量的问题

当我们把它映射到一维上时，我们很自然想到设阈值对其进行分类，于是乎fisher分类器就整出来了

开工写代码

class Fisher:
    def __init__(self):
        self._w = self._b = None

    def fit(self, x, y):
        x, y = np.asarray(x, dtype=np.float32), np.asarray(y, dtype=np.float32)
        x0, x1 = np.mean(x[y == -1], axis=0), np.mean(x[y ==