降维算法：线性判别分析LDA

降维算法：线性判别分析LDA

祺哥让我做的笔记……

1.背景介绍

• 用途：用作数据预处理中的降维。

  （为什么要降维？当样本个数多、特征个数多时，计算、调参和评估时候效率会很低；而且不一定所有的特征都有用，所以仅保留重要的信息进行建模）

• 历史：Ronald A.Fisher 于1936提出的线性判别分析方法

• 目标：最大化类间区分度的坐标轴成分，即将特征空间（数据集中的多维样本）投影到一个维度更小的K维子空间中，同时保持区分类别的信息。

• 原理：投影到维度更低的空间中，使得投影后的点，会形成按类别区分。

• 难点和核心点：如何找投影？即更合适分类的空间。

• 与PCA区别：LDA更关心分类而不是方差；LDA是有监督问题，PCA是无监督的问题。

2.数学原理：

2.1目标：

• 找到该投影 $y = w ^ \mathrm{ T }x$
• 使不同类别之间的距离越远越好，同一类别之中的距离越近越好
• 每类别的均值 $\mu_{i}=1/N_{i} \sum_{x\in w_{i}} x$
• 投影后的均值 $\widetilde \mu_{i} =1/N_{i} \sum_{y\in w_{i}} y =1/N_{i} \sum_{x\in w_{i}} w ^ \mathrm{ T }x = w ^ \mathrm{ T } \mu_{i}$
• 投影后的两类样本中心点尽量分离
  $J(w)=\left|\widetilde \mu_{1}-\widetilde \mu_{2}\right|=\left|w ^ \mathrm{ T }(\mu_{1}-\mu_{2})\right|$

只要J(w)越大就可以了吗？如下图：$\mu_{1}$，