1.2. Linear and Quadratic Discriminant Analysis
补:写完算法才发现这章内容有点长,所以我决定把LDA和QDA的区别和有关降维的应用放到下一章去讲
一、简介
西瓜书里是这样介绍的线性判别的:
LDA的思想十分朴素:给定训练样例集,设法将样例投影到一条直线上,使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离;在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别。
sklearn的这段话给出了几个信息:
第一,判别的核心叫做决策面(decition surface),而线性判别和二次判别具有不同的决策面。
第二,线性判别和二次判别作为经典的分类算法,有几个很是吸引人的优点:
- 它们具有封闭解(我的理解是正常凸函数),很容易计算
- “固有的多类”:它们天生具有多分类的特性
- 已被证明有很好的性能(这才是最主要的吧)
- 无需调参(这个也很香啊)
二、算法详解
线性判别有概率模型和非概率模型两种阐述方式
(依据李航老师的《统计学习方法》,概率模型和非概率模型的主要区别在于,其内部变量是否可以表示为联合概率分布的形式)
2.1 非概率模型
西瓜书上是从非概率模型的角度对LDA阐述的,因为从这个角度,我们可以更直观的理解LDA的内核。
根据我们在简介里对其思想的阐述,我们发现有两个抽象的概念在约束模型。分别是 “同类样例的投影点尽可能接近” 和 “异类样例的投影点尽可能远离”。
下面我们以二维平面内的二分类举例:
首先,我们要找到一个线性变换 ω \omega ω 来将数据集投影到一条直线上(一维空间)。( ω \omega ω是优化目标)
2.1.1 “类间散度矩阵”
于是,我们计算正负两类的样本中心点,并记为 μ 0 , μ 1 \mu_0,\mu_1 μ0,μ1.
既然 μ 0 , μ 1 \mu_0,\mu_1 μ0,μ1表示原空间(二维空间)同类样本的中心,那么 ω T μ 0 , ω T μ 1 \omega^T\mu_0,\omega^T\mu_1 ωTμ0,ωTμ1 是不是就可以可以投影空间中(一维空间)同类样本的中心。
要让“异类样例的投影点尽可能远离”,实际上,就是让这两个类的中心远离,也就是让它们之间的“距离”最远。 这里,我们距离的定义为 l 2 − n o r m l_2-norm l2−nor</