机器学习笔记：第3章 线性模型

3.1 基本形式

                                                                    (3.1)

给定由d个属性描述的示例x；线性模型通过属性的线形组合进行预测。

3.2 线性回归 

 线性回归：学得一个线性模型尽可能多准确地预测实值输出标记。

存在序关系的离散属性可以连续化，比如身高:高、低，可连续化为{1，0}；若k个属性间不存在序关系，则转化为k维向量。如‘瓜类’取值西瓜、黄瓜、南瓜，则可表示为（1，0，0）、（0，1，0）、（0，0，1）。

线性回归试图学得：  使得

如何求得和b:

最小二乘法：基于均方根最小化

                                                                         (3.2)

3.3 对数几率回归（logistic regression)

用线性回归模型的预测结果逼近真实标记的对数几率，应用于分类任务。

                                                                                                        （3.3）

3.4 线性判别分析 

线性判别分析（Linear Discriminate Analysis，LDA)：是一种典型的线形学习算法，最早由Fisher(1936)用于二分类任务。

思想：给定训练集设法将其投影到一条直线上，使得同类样例投影点尽可能接近，异类样例投影点尽可能远，对新样例预测时将其投影到直线上看其投影点的位置确定其类别。

3.5 多分类学习

思路：将多个类别的分类问题拆分为若干个二分类任务，然后对这些二分类模型的预测结果进行集成最终获得多分类的结果。

经典拆分策略：OvO一对一、OvR一对其余、MvM多对多。

一对一：对N个类别的分类任务；将N个类别两两配对，为区分类别Ci和Cj训练一个训练器，总共N(N-1)/2个分类器，对测试样例的结果，由全部分类结果投票决定，把预测的最多的类别作为最终分类结果。

一对其余：将一个类的样例作为正例，其余类的样例作为反例来训练N个分类器，在测试时若仅有一个分类器预测为正类，则对应的类别标记作为最终结果。

多对多：每次将若干个类别作为正类，若干个其它类别作为反类。

ECOC（纠错输出码）：将编码的思想引入类别的拆分，分为编码和解码。

    编码：对N个类别分别做M次划分，每次一部分样例为正类，其余样例为反类。从而产生M个二分类训练器。

   解码：M个分类器分别对测试样例进行预测，这些预测标记组成一个预测编码。将这个预测编码与每个类别在各个分类器上的编码进行比较，返回其中距离最小的类别作为最终预测结果。