西瓜书学习笔记 第3章 线性模型

目录

3.1 基本形式

3.2 线性回归

3.3 对数几率回归

3.4 线性判别分析 

3.5 多分类学习

3.6 类别不平衡问题

---

机器学习的三要素：

1. 模型：根据具体问题，确定假设空间。

2. 策略：根据评价标准，确定选取最优模型的策略（通常会产出一个“损失函数”）

3. 算法：求解损失函数，确定最优模型。

3.1 基本形式

线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即

一般用向量形式写成

由于w直观表达了各属性在预测中的重要性，因此线性模型有很好的可解释性（comprehensibility）。

3.2 线性回归

“线性回归”（linear regression）试图学得一个线性模型以尽可能准确地预测实值输出标记。

离散特征（离散属性）进行量化：

1. 若属性值间存在“序”（order）关系：通过连续化将其转化为连续值。

（1）二值属性“身高”的取值“高”“矮”可转化为{1.0,0.0}；

（2）三值属性“高度”的取值“高”“中”“低”可转化为{1.0,0.5,0.0}。

2. 若属性值间不存在序关系：假定有k个属性值，则通常是转化为k维向量。

“瓜类”的取值“西瓜”“南瓜”“黄瓜”可转化为（0,0,1),(0,1,0),(1,0,0)。

均方误差是回归任务中最常用的性能度量，因此我们可以试图让均方误差最小化来求取w和b。

均方误差的几何意义：对应了常用的欧几里得距离或简称“欧氏距离（Euclidean distance）。基于均方误差最小化来进行模型求解的方法称为“最小二乘法”（least square method）。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。

输入的属性数目只有一个为一元线性回归。

输入的属性数目有多个为多元线性回归。

线性模型虽然简单，却有丰富的变化。比如“对数线性回归”（log-linear regression），虽然形式上仍是线性回归，但实质上已是在求取输入空间到输出空间的非线性函数映射，这里的对数函数起到了将线性回归模型的预测值与真实标记联系起来的作用。

更一般地，考虑单调可微函数g(.)，令

，

这样得到的模型称为“广义线性模型”（generalized linear model），其中函数g(.)称为“联系函数”（link function）。显然，对数线性回归是广义线性模型在g(.)=ln(.)时的特例。

3.3 对数几率回归

 在线性模型的基础上套一个映射函数来实现分类功能。

联系广义线性模型：只需找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。

对数几率函数（logistic function），简称“对率函数”：

对数几率函数是一种“Sigmoid函数”，它将线性回归模型的预测值z值转化为一个接近0或1的y值，并且其输出值在z=0附近变化很陡。

实际上是在用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应的模型称为“对数几率回归”（logistic regression，亦称logit regression）。特别需注意到，虽然它的名字是“回归”，但实际却是一种分类学习算法。

3.4 线性判别分析 

 线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的线性学习算法，在二分类问题上因为最早由Fisher提出，亦称“Fisher判别分析”。

LDA思想：给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。

从几何角度，让全体训练样本经过投影后：

（1）异类样本的中心尽可能远；

（2）同类样本的方差尽可能小。

这个投影能够减小样本点的维数，且投影过程中使用了类别信息，因此LDA也常被视为一种经典的监督降维技术。

3.5 多分类学习

有些二分类学习方法可直接推广到多分类，但在更多情形下，我们是基于一些基本策略，利用二分类学习器来解决多分类问题。

多分类学习的基本思路是“拆解法”，即将多分类任务拆为若干个二分类任务求解。具体来说，先对问题进行拆分，然后为拆出的每个二分类任务训练一个分类器；在测试时，对这些分类器的预测结果进行集成以获得最终的多分类结果。

最经典的拆法策略有三种：“一对一”（One vs. One，简称OVO）、“一对其余”（One vs. Rest，简称OvR）和“多对多”（Many vs. Many，简称MvM）。

OvO：把被预测得最多的类别作为最终分类结果。

OvR：在测试时若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果，若有多个分类器预测为正类，则通常考虑各分类器的预测置信度，选择置信区间度最大的类别标记作为分类结果。

MvM：最常用的MvM技术：纠错输出码（Error Correcting Output Codes，简称ECOC）。ECOC是将编码的思想引入类别拆分，并尽可能在解码过程中具有容错性。

3.6 类别不平衡问题

类别不平衡（class-imbalance）就是指分类任务中不同类别的训练样例数目差别很大的情况。

处理类别不平衡的一个基本策略：再缩放（rescaling）。

再缩放的思想虽简单，但实际操作却并不平凡，主要因为“训练集是真实样本总体的无偏采样”这个假设往往并不成立，也就是说，我们未必能有效地基于训练集观测几率来推断出真实几率。

现有处理类别不平衡技术大体上有三类做法（假定正类样例较少，反类样例较多）:

（1）第一类是直接对训练集里的反类样例进行“欠采样”(undersampling)，即去除一些反例使得正、反例数目接近，然后再进行学习;

（2）第二类是对训练集里的正类样例进行“过采样”(oversampling)，即增加一些正例使得正、反例数目接近，然后再进行学习;

（3）第三类则是直接基于原始训练集进行学习,但在用训练好的分类器进行预测时，将“再缩放”嵌入到其决策过程中,称为“阈值移动”(threshold-moving)。

参考文献：【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集_哔哩哔哩_bilibili