1.2. Linear and Quadratic Discriminant Analysis（线性判别和二次判别分析）（一）

1.2. Linear and Quadratic Discriminant Analysis

补：写完算法才发现这章内容有点长，所以我决定把LDA和QDA的区别和有关降维的应用放到下一章去讲

一、简介

西瓜书里是这样介绍的线性判别的：

LDA的思想十分朴素：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。

sklearn的这段话给出了几个信息：
第一，判别的核心叫做决策面(decition surface)，而线性判别和二次判别具有不同的决策面。
第二，线性判别和二次判别作为经典的分类算法，有几个很是吸引人的优点：

1. 它们具有封闭解（我的理解是正常凸函数），很容易计算
2. “固有的多类”：它们天生具有多分类的特性
3. 已被证明有很好的性能（这才是最主要的吧）
4. 无需调参（这个也很香啊）

二、算法详解

线性判别有概率模型和非概率模型两种阐述方式
（依据李航老师的《统计学习方法》，概率模型和非概率模型的主要区别在于，其内部变量是否可以表示为联合概率分布的形式）

2.1 非概率模型

西瓜书上是从非概率模型的角度对LDA阐述的，因为从这个角度，我们可以更直观的理解LDA的内核。

根据我们在简介里对其思想的阐述，我们发现有两个抽象的概念在约束模型。分别是 “同类样例的投影点尽可能接近” 和 “异类样例的投影点尽可能远离”。

下面我们以二维平面内的二分类举例：

首先，我们要找到一个线性变换 $\omega$ 来将数据集投影到一条直线上（一维空间）。（$\omega$是优化目标）

2.1.1 “类间散度矩阵”

于是，我们计算正负两类的样本中心点，并记为 ${\mu }_0,{\mu }_1$.
既然${\mu }_0,{\mu }_1$表示原空间（二维空间）同类样本的中心，那么${\omega }^T{\mu }_0,{\omega }^T{\mu }_1$ 是不是就可以可以投影空间中（一维空间）同类样本的中心。

要让“异类样例的投影点尽可能远离”，实际上，就是让这两个类的中心远离，也就是让它们之间的“距离”最远。 这里，我们距离的定义为$l_2-nor</$