机器学习笔记_降维_1:LDA(fisher)

LDA分类器（2分类问题）

• 存在超平面将两类数据分开，存在旋转向量，将两类数据投影到1维，并且分开.

• 通过矩阵$w$将数据$x$投影到$y$
  $y=\bar{w}^Tx$
  寻找阈值$w_0, y \geq w_0，为类C_1,否则是类C_2$

---

LDA 算法

• 设$C_1有N_1个点，C_2有N_2个点$

  $$\begin{equation} 投影前，类内均值=\left\{ \begin{aligned} \bar{m_1} & =\frac{1}{N_1}\sum\limits_{i=1}^{N_1} \bar{x_1} \\ \bar{m_2} & =\frac{1}{N_1}\sum\limits_{i=1}^{N_1} \bar{x_2} \\ \end{aligned} \right. \end{equation}$$
  $$\begin{equation} 投影后，类内均值=\left\{ \begin{aligned} m_1 & =w^T\bar{m_1} \\ m_2 & =w^T\bar{m_2} \\ \end{aligned} \right. \end{equation}$$
  $$\begin{equation} 松散度=\left\{ \begin{aligned} s_1^2=\sum\limits_{i=1}^{N_1}(y_i-m_1)^2 \\ s_2^2=\sum\limits_{i=1}^{N_1}(y_i-m_2)^2 \\ \end{aligned} \right. \end{equation}$$

---

fisher判别准则

• 目标函数

  $J(\bar{w})=\frac{(m_2-m_1)^2}{s_1^2+s_2^2}$
  =>
  $J(\bar{w})=\frac{\bar{w}^TS_B\bar{w}}{\bar{w}^TS_W\bar{w}}$

  其中$S_B,S_N$可以通过已知样本计算得到：

$S_B=(\bar{m_2}-\bar{m_1})(\bar{m_2}-\bar{m_1})^T$

• $\frac{\partial J(\bar{w})}{\partial \bar{w}}=>$

• $\bar{w} 正比于S_W^{-1}(\bar{m}_2-\bar{m}_1)$

完成投影方向

• 阈值的确定：转换为1维情况做分类
  假设分布，极大似然完成剩余工作.

---

• LDA 适用于2分类，且2分类均是正态分布
• LDA依赖于均值