FDA降维

FDA是一个传统的有用的线性有监督的降维方法，FDA通过最大化类间距离，最小化类内距离的方法降维，但是对于呈现多峰的样本数据的降维效果并不好。为了对多峰数据降维，首要的是要保持数据的局部结构。LPP通过保持数据的局部结构获得很好的降维效果，但他只能用于无监督的情况，不能将样本的标签信息考虑在内。
由于类间散布矩阵不是满秩的，所以FDA只能将数据映射到维数小于类个数的低维空间，这是FDA的局限。
FDA
设$x_i \in R^d(i=1,2,...,n)$,是d维空间中的样本，$y_i\in \{1,2,...,c\}$是相关的标签集，$z_i\in R^r(r\lt d)$是$x_i$在低维空间的表示，$T$表示从$X$到$Z$的线性变换，$Z_i=T^Tx_i$,$n$是样本个数，$c$是类别个数，$n_l$是属于类别$c$的样本个数。$\sum_{l=1}^c n_l=n$.
每类的均值：$u_l=\frac{1}{n_l}\sum _{i:y_i=l}x_i$
总的均值：$u=\frac{1}{n}\sum_{i=1}^nx_i=\frac{1}{n}\sum_{l=1}^cn_lu_l$
类内离散度矩阵：$S^{(w)}=\sum_{l=1}^c\sum_{i:y_i=l}(x_i-u_l)(x_i-u_l)^T$，$d\times d$矩阵。
类间离散度矩阵：$S^{(b)}=\sum_{l=1}^cn_l(u_l-u)(u_l-u)^T$，$d\times d$矩阵。
目标函数$T=argmin_{T\in R^{d\times r}} \frac{tr(T^TS^{(w)}T)}{tr(T^TS^{(b)}T)}$，s.t. $T^TS^{(w)}T=I_r$
最优解为$S^{(b)}\varphi=\lambda S^{(w)}\varphi$的最大的$d$个特征值所对应的特征向量，设$S^{(w)}$可逆，则最优解即为${S^{(w)}}^{-1}S^{(b)}$的最大的$d$个特征值所对应的特征向量.
定义$W_{i,j}^{(w)}=\begin{cases}\frac{1}{n_l}& if\ y_i=y_j=l\\0& if\ y_i\neq y_j\end{cases}$
$S^{(w)}=\frac{1}{2}\sum_{i=1}^n\sum_{j=1}^nW_{i,j}^{(w)}(x_i-x_j)(x_i-x_j)^T$
定义$W_{i,j}^{(b)}=\begin{cases}\frac{1}{n}-\frac{1}{n_l}& if\ y_i=y_j=l\\ \frac{1}{n}&if\ y_i\neq y_j\end{cases}$
$S^{(b)}=\frac{1}{2}\sum_{i=1}^n\sum_{j=1}^nW_{i,j}^{(b)}(x_i-x_j)(x_i-x_j)^T$