西瓜书第三章笔记

绪论：线性模型的基本形式

给定由n个属性描述(特征向量有n维)的样本x=(x1,x2,……，xn),其中xi是x在第i个属性上的取值，线性模型试图通过建立一个能够表示相关所有特征量的线性组合来进行预测，具体的函数表示形式为：

其向量形式如下图所示：

 线性模型的优势：

1.概念简单，应用灵活，可以一些典型模型为基础进行非线性拟合

2.可以直观地表示各属性在线性预测模型中的重要性，因此线性模型具有很好的解释性

1.一元线性回归

最小二乘法，要求均方误差最小

 通过学习得到最优的使得均方误差有最小值，用数学形式可以表示为：

其几何意义是：确定一条“最优的”直线，使样本到直线欧氏距离和最小 

补充：广义线性模型

使预测值逼近y，即：

注：g:联系函数，必须是单调可微的

这就实现了我们在之前提到过的以线性模型为基础进行非线性拟合，更多的，还有神经网络模型，也是以线性模型为基础进行非线性拟合，且原则上，它可以拟合任意非线性函数。

2.多元线性回归

3.对数几率回归

针对分类问题，需要将线性模型转化为阶梯状，不同回归情况对应分类问题的不同类别

常用函数：sigmoid函数，将范围不定的线性回归约束至(0，1)，且逼近于阶跃函数，使分类更加清晰明确。它还有一个优点是：它是线性可微的，且对任意阶可导。

还可以将上面的对数几率回归模型变化为:

 

对该式：

表示样本作为正例的可能性

表示样本作为反例的可能性 

二者的比值成为几率（odds），反映了作为正例的相对可能性

则为对数几率（log odds / logit） 

       

基于此，我们可以看到对数几率回归不仅可以预测分类，更给出了近似概率预测。

关于多元情况下的的计算详见书
 

4.线性判别分析

寻找最优直线，对不同类别样本能够实现各自的相对最优"聚类"

 

5.其他

5.1多分类学习

对于n个类别C1,C2,C3……Cn，多分类学习的基本思路是拆解法，即将多分类任务拆分为若干个二分类问题求解。

经典的拆分策略有三种：

1)”一对一”（OvO）：将n个类别两两配对，从而产生个二分类任务，最终得到个分类结果，把被预测的最多的类别作为最终的分类结果。

2)”一对其余”（OvR）：每次将一个类作为正例，其余作为反例，共训练n个分类器。若出现仅有一个分类器预测为正类，则对应类别为最终分类结果；若多个分类器预测为正类，则考虑各个分类器的预测置信度，选择置信度最大的类别标记作为分类结果。

3)”多对多”（MvM）：每次将若干个类作为正类，其他类为反类，共划分M次。正、反类构造需要有特殊的设计，不能随意划分，最常用的MvM技术是”纠错输出码“（EOOC），该部分知识在西瓜书上有详细的介绍，在此不再赘述。

.......