机器学习002-LDA与KNDA

参考：LDA kernel LDA

kernel LDA 用到了散度(scatter)的概念，目标是使样本点在高维空间中的投影满足：类内散度最小，类间散度最大。即：
\[ J(W^\phi)=argmax_{(W^\phi)}\frac{W^{\phi T} S_b^\phi W^\phi}{W^{\phi T} S_w^\phi W^\phi}\\ \begin{align} 其中，&\phi 表示高维空间下的;\\ &S_b^\phi类间散度，S_b^\phi=\sum_{i=1}^{C}N_i(\mu_i-\mu)(\mu_i-\mu)^T; \\ &S_w^\phi类内散度，S_w^\phi=\sum_{i=1}^{C}\sum_{\phi(x_j)∈X_i}(\phi(x_j)-\mu_i)(\phi(x_j)-\mu_i)^T;\\ &W^\phi是单位正交化的特征向量矩阵，即高维空间中的坐标轴w^\phi，\\ &w^\phi=\sum_{i=1}^N\alpha_i\phi(x_i)这是未知的，难以直接计算的，需要借助核函数。\\ \end{align} \]
将核函数引入之后：
\[ J(\alpha)=argmax_{(\alpha)}\frac{|\alpha^TG_b\alpha|}{|\alpha^TG_w\alpha|}\\ \begin{align} 其中，&G_b=\sum_{i=1}^{C}N_i(m_i-\overline m)(m_i-\overline m)^T\\ &G_w=\sum_{i=1}^{C}\sum_{K_j∈X_i}(K_j-m_i)(K_j-m_i)^T\\ &m_i=\frac{1}{N_i}\sum_{j=1}{N_i}K_j\\ &K_j=(k(x_i,x_1),...,k(x_i,x_N))^T&K_j为核函数矩阵的一个列向量 \end{align}\\ \]

转载于:https://www.cnblogs.com/zzzack/p/9749636.html