机器学习4——线性模型（2）

3. 线性模型（2）

3.1 线性判别分析

• 概念

- 线性判别分析 （Linear Discriminant Analysis , 简称 LDA）。
- 是一种经典的线性学习方法。
- 最早由 Fisher 提出，亦称 "Fisher" 判别分析。

• LDA 的思想

1. 给定训练样例集
2. 设法将样例投影到一条直线上
3. 使得同类样例的投影点尽可能接近。
4. 异类样例的投影点尽可能远离。

- 在对新样本进行分类时，将其投影
- 根据投影的点的位置确定新的样本类别。

• 怎样让同类样例的投影点尽可能近？

分析

已知：
给定数据集 D = {
   (x1,y1), ..., (xm,ym)}, yi ∈ {
   0, 1}。这是一个二分类问题。

令：
Xk, Uk, ∑K 分别表示第 k ∈ {
   0, 1}类示例的，
集合，均值向量，协方差矩阵

操作：
将数据投影到直线 W 上
直线 w 是已知训练好的直线。

结论：
一、两类样本的中心在直线上的投影分别为:
0类：W^T*U0
1类：W^T*U1
二、两类样本的协方差分别为：
0类：W^T*∑0W
1类：W^T*∑1W

公式

结论

1. 欲使同类样例的投影点尽可能接近
即 W^T*∑0W+W^T*∑1W 尽可能小

2. 欲使异类样例的投影点尽可能远离
||W^T*U0-W^T*U1|| 尽可能大

• 最优线性（最大化线性判别分析的条件）

使 J 值最大

类内散度矩阵

类间散度矩阵

重写 J 值

确定 w

3.2 多分类学习

• 思路

拆解法
即将多分类任务拆分为若干个二分类任务求解。

具体来讲就是：
先对问题进行拆分，然后为拆分出的每个二分类任务训练一个分类器。

• 拆分策略

1. 一对一，One vs One, OvO
- 两两配对组成一个新样本，一个作为正例，一个作为反例。
- 新样本将同时提交给所有的分类器。
- 把预测结果最多的作为最终的分类结果。

2. 一对其余，One vs Rest, OvR
- 每次将一个类作为正例，其余类作为反例。
- 若有一个分类器预测为正例，则对应类标记为最终结果。

3. 多对多，Many vs Many, MvM
- 将若干个类作为正类，若干个作为反类。
- 但正，反类构造必须有特殊的设计。
- 有一种常用的 MvM 技术：纠错输出码，简称 ECOC