《机器学习》 第三章线性模型 总结

写在前面
前三章是机器学习的基础知识，其中涉及了非常多的数学公式推到。特别是第二第三章，初学者对这些公式的具体推导比较吃力，看书也是一点一点磨着看的。。。我磨了一个星期总算是磨完了=_=，期间发现一本好书《南瓜书》，把西瓜书简略的公式推导补充了很多，网址：https://datawhalechina.github.io/pumpkin-book/#/

基本形式
线性模型（linear model）：由属性的线性组合来进行预测的模型，预测的函数形式为公式(3.1)，许多更复杂的非线性模型（nonlinear model）可在线性模型的基础上通过引入层级结构或者高维映射而得。

线性回归
线性回归（linear regression）：试图学得一个线性模型以尽可能地预测实值输出标记，公式(3.3)

最小二乘法（least square metod）：基于均方误差最小化进行模型求解，数学表达见公式(3.5)(3.6)

多元线性回归（multivariate linear regression）：样本由多个属性描述

对数线性回归（log-linear regression）：认为示例所对应的输出标记实在指数尺度上的变化，公式(3.14)。形式上依然是线性回归，但实质上已是在求取输入空间到输出空间的非线性函数映射

广义线性模型（generalized linear model）：将输出标记取g(y)，函数g称为联系函数（link function），对数线性回归是广义线性模型在g取对数函数时的特例

对数几率回归
分类任务真实标记y不是连续的实值，因此需要找一个单调可微函数将分类任务的真实标记与回归模型预测值联系起来
对数几率函数/ 对率函数（logistic function）：公式(3.17)，利用它建立对数几率回归（logistic regression）模型，将回归的思想用于分类学习中，并得到类别的近似概率预测

线性判别分析
线性判别分析（Linear Discriminant Analysis，LDA）：给定训练样例集，将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；再对新样本进行分类时，将其投影到这条直线上以确定样本类别

类内散度矩阵（within-class scatter matrix）/ 类间散度矩阵（between-class scatter matrix）：公式(3.33)(3.34)

LDA希望最大化的目标：公式(3.35），让同类样例投影点的协方差尽可能小，异类样例投影点尽可能远离

多分类学习
基于不同策略，利用二分类学习器来解决多分类问题

一对一（One vs. One，OvO）：将N个类别两两配对，产生N(N-1)/2个二分类任务，把被预测的最多的分类作为最终分类结果

一对其余（One vs. Rest，OvR）：每次将一个类的样例作为正例，其余样例作为反例来训练N个分类器，若测试时仅有一个分类器预测为正例则对应类别标记作为最终分类结果；若有多个分类器预测为正类，取置信度最高的分类作为分类结果。OvR只需训练N个分类器，但训练时OvR的每个分类器均使用全部训练样例，而OvO只需2个，因此在类别很多时，OvO的训练时间开销通常比OvR更小

多对多（Many vs. Many，MvM）：每次将若干个类作为正类，其余作为反类。常用的一种MvM技术为纠错输出码（Error Correcting Ouput Codes，ECOC）ECOC将编码思想引入类别拆分，并尽可能在解码过程中具有容错性。ECOC码码长越长，纠错能力越强，但训练所需的分类器也越多，计算和存储开销越大

类别不平衡问题
类别不平衡（class-imbalance）：分类任务中不同类别的训练样例数目差别很大。解决这个问题通常有再缩放、欠采样和过采样三种方法

再缩放（rescaling）：只要分类器预测几率高于观测几率就判定为正例，公式(3.48)。再缩放也是代价敏感学习（cost-sensative learning）的基础

欠采样法（undersampling）：去除一些反例使得正反例数目接近，然后再进行学习。其时间开销通常远小于过采样法，但有可能丢失一些重要信息，相关解决算法有EasyEnsemble等

过采样法（oversampling）：增加一些正例使得正反例数目接近，然后再进行学习。此方法不能简单地对初试正例进行重复采样，这回导致严重过拟合，一般采用对训练集中地正例进行插值来额外产生新的正例