最近看特征选择的方法,有一篇文章提到用fisher score来挑选特征
然后就顺手回顾一下fisher分类器和LDA
先来说LDA,不同于PCA, LDA是有监督的降维,需要类标签
它的想法是我们希望投影过后类内样本的距离尽可能小,类间样本的距离尽可能大,所以它想到用一个除式作为目标函数来求解
其中分子为样本间距离,分子为类内样本方差之和
我们通过拉格朗日乘子展开对w求偏导,和PCA一样又能转化为求特征值和特征向量的问题
当我们把它映射到一维上时,我们很自然想到设阈值对其进行分类,于是乎fisher分类器就整出来了
开工写代码
class Fisher:
def __init__(self):
self._w = self._b = None
def fit(self, x, y):
x, y = np.asarray(x, dtype=np.float32), np.asarray(y, dtype=np.float32)
x0, x1 = np.mean(x[y == -1], axis=0), np.mean(x[y ==