周志华机器学习笔记-C3

线性模型

若模型的核心或参数关系是线性的，即称之。

一、线性回归

1、线性回归与多元线性回归：即试图学得线性模型，使得预测标记和样本标记差别最小者，依据变量个数称为单变量或多元线性回归。差别用均方误差描述，则称为最小二乘回归，可直接对其均方误差求导得到系数矩阵表达。但是多元时可能存在矩阵逆不存在而导致的最小误差多解的情形，此时需引入“正则化”项以解决（即人为约束）。

2、广义线性回归：若有单调可微函数将线性函数关系进一步映射，则新函数与变量之间的关系称为广义线性回归模型。

二、对数几率回归

此节说明线性模型可用于分类问题。

1、对数几率回归模型：由于线性回归模型产生实值预测，最简单的想法是将其映入阶跃函数以形成可以做二元分类的广义线性回归模型，但是由于阶跃函数不连续，故采用形式类似的sigma函数，依据y是否超过阈值进行二元分类。最终模型写为：

2、对数几率回归模型的计算：可以进行最小二乘计算，但是若认为y代表x为正例的概率，也可用极大似然法求出参数。其认为每个样本属于其真实标记的概率越大越好，据此列出总的对数似然概率，再对系数矩阵求最优化获得最优系数矩阵。可通过梯度下降等方法实现。

三、线性判别分析

此节提出与对数几率回归不同的线性分类模型。

1、线性判别模型LDA：基本思想是将样本集投影到某一直线上，使得组内尽可能接近，组间尽可能远离。接近的程度用组内协方差矩阵在直线上的投影描述，越小越好；远离程度用组间均值向量在直线投影的差值描述，越大越好。两者作商，称为广义瑞利商即LDA最大化目标。

2、LDA模型求解：用拉格朗日乘子法转化为求类内散度矩阵的逆，求逆常涉及数值稳定性问题，这里常采用SVD解决。

3、LDA可推广至多分类问题。

四、多分类学习

此节针对多分类问题进行分析，除二分类问题的直接推广方法外，基本思路为拆解为若干二分类问题。

1、OvO：即对所有类别的两两组合分别生成一个分类器，共n(n-1)/2个，新样本到来时，放入每一个分类器，统计分类票数，高者即预测结果。

2、OvR：即对每一个类别和其余类别生成n个分类器，新样本到来时，放入每个分类器，预测结果为正例即为预测结果（或通过比较各个分类器给出的置信概率，高者即预测结果）

3、MvM：若干为正类、若干为反类，常用技术：ECOC。

五、类别不平衡问题

对（二元）分类问题，若训练集中存在正反例数量严重不对等时，模型效果将很差。下有三种解决办法：

1、欠采样法：对多样例者进行删减，不能随意删减，否则可能丢失重要信息，有集成学习算法等。

2、过采样法：增添少样例者。不能对少样例重复采样，否则会严重过拟合，可以对其进行插值等，代表算法SMOTE。

3、再缩放：针对对数几率回归，默认阈值为0.5，即正反例观测概率相同。若概率不同（样本数量不同），可作修正系数后作为判别标准：