之前无标签数据降维PCA,那么像下图带有标签数据,如果用PCA降维将会投影到v轴上,这个投影方差最大,数据将变成不可分状态,LDA将把数据投影加上已有分类这个变量,将数据投影到u轴上
假设原数据分成n类,用矩阵Di表示i类数据,均值向量mi,将设将数据投影到向量w上后,均值分别为Mi,向量w模长为1,则有
矩阵Di投影后类方差为
我们希望
尽可能大,这样数据才能保留之前的分类特性,问题转化为求
的最大值
设
对J求导
J最大值应该是矩阵
的最大特征值
例子
from numpy.random import random_sample
import numpy as np
# fig = plt.figure()
N = 600
# 设椭圆中心center
cx = 5
cy = 6
a = 1/8.0
b = 4
X,scale = 2*a*random_sample((N,))+cx-a,60
Y = [2*b*np.sqrt(1.