西瓜书《机器学习》阅读笔记之第三章线性模型

• 第3章 线性模型

  • 3.1 基本形式

    • 线性模型 (linear model)试图学得一个通过属性的线性组合来进行预测的函数。 [P52]

    • 一般形式

      

    • 由于 ω 直观表达了各属性在预测中的重要性，因此线性模型有很好的可解释’性 (comprehensibility) [P52]

  • 3.2 线性回归

    • 若将无序属性连续化，则会不恰当地引入序关系，对后续处理如距离计算等造成误导！ [P53]

      例如属性“瓜类”的取值“西瓜”、“南瓜”、“黄瓜”可转化为(0,0,1),(0,1,0),(1,0,0)

      ---

    • 基于均方误差最小化来进行模型求解的方法称为"最小二乘法" (least square method). 在线性回归中，最小A乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小. [P53]

    • 均方误差有非常好的几何意义?它对应了常用的欧几里得距离或简称"欧氏距离" [P53]

    • 求解 ω 和 b 使 E(w, b)最小化的过程，称为线性回归模型的最小二乘"参数估计"(parameter estimation). [P53]

    • 样本由 d 个属性描述.此时我们试图学得f(xi) = (ωT)xi + b ， 使得 f(xi)≌ωi ,这称为"多元线性回归" [P54]

  • 3.3 对数几率回归

    • 考虑二分类任务， 其输出标记 νε{0 ， 1} ，而线性回归模型产生的预测值z = ωTx +b 是实值，于是，我们需将实值 z 转换为 0/ 1 值. 最理想的是"单位阶跃函数" (unit-step function) [P56]

    • 对数几率函数是一种"Sigmoid 函数"，它将 z 值转化为一个接近 0 或 1 的 υ 值并且其输出值在 z = 0 附近变化很陡.将对数几率函数作为g一(-)代入式 [P57]

    • 若将 u 视为样本 z 作为正例的可能性，则 1-y 是其反例可能性，两者的比值y/(1-y)称为"几率"(odds) ，反映了 m 作为正例的相对可能性.对几率取对数则得到"对数几率" (log odds，亦称 logit) [P57]

    • 实际上是在用线性回归模型的预测结果去逼近真实标记的对数几率，因此，其对应的模型称为"对数几率回归" (logistic regression，亦称 logit regression) [P57]

  • 3.4 线性判别分析

    • 线性判别分析 (Linear Discriminant Analysis，简称 LDA)是一种经典的线性学习方法 [P59]

    • LDA 的思想非常朴 素: 给定训练样例集，设法将样例投影到一条直 线上 ，使得同类样例的投影点尽可能接近、 异类样例 的投影点尽可能远离;在对新样本进行分类时，将其投影到 同样的这条直线上，再根据投影点的位置来确定新样本 的类别. [P59]

    • 

  • 3.5 多分类学习

    • 多分类学习的基本思路是"拆解法飞即将多分类任务拆为若干个二分类任务求解.具体来说，先对问题进行拆分，然后为拆出的每个二分类任务训练一个分类器;在测试时，对这些分类器的预测结果进行集成以获得最终的多分类结果.这里的关键是如何对多分类任务进行拆分，以及如何对多个分类器进行集成.本节主要介绍拆分策略. [P62]

    • 最经典的拆分策略有三种.“一对一” (One vs. One，简称 OvO) 、“一对其余” (One vs. Rest，简称 OvR)和"多对多" (Many vs. Many，简称 MvM). [P62]

    • 给定数据集 D = {(x1 ,y1) , (x2 ， y2)， . . . ，(xm,ym)} ， yi ε {C1 ， C2 ，…， CN}. OvO 将这 N 个类别两两配对, 从而产生 N(N 一 1)/2 个二分类任务 [P62]

    • OvR 则是每次将一个类的样例作为正例、所有其他类的样例作为反例来训练 N 个分类器.在测试时若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结果 [P62]

    • 

    • 容易看出， OvR 只需训练 N 个分类器 ， 而 OvO 需训练 N(N -1)/2 个分类器 ， 因此， OvO的存储开销和测试时间开销通常比 OvR 更大 . 但在训练时，OvR 的每个分类器均使用全部训练样例，而 OvO 的每个分类器仅用到两个类的样例，因此，在类别很多时，. OvO 的训练时间开销通常比 OvR 更小 . 至于预测性能 ， 则取决于具体的数据分布， 在多数情形下两者差不多. [P63]

    • MvM 是每次将若干个类作为正类，若干个其他类作为反类.显然， OvO 和OvR 是 MvM 的特例. MvM 的正、反类构造必须有特殊的设计，不能随意选取.这里我们介绍一种最常用的 MvM 技术"纠错输出码" (Error Correcting Output Codes，简称 ECOC)… [P63]

  • 3.6 类别不平衡问题

    • 类别不平衡 (classs-imbalance)就是指分类任务中不同类别的训练样例数目差别很大的情况. [P65]

    • 当训练集中正、反例的数目不同时，令 m+表示正倒数目， m-表示反倒数目，则观测几率是(m+/m-) [P65]

    • 只要分类器的预测几率高于观测几率就应判定为正例 [P65]

    • 我们未必能有效地基于训练集观测几率来推断出真实几率. [P66]

      第一类是直接对训练集里的反类样例进行"欠采样"(undersampling) ，即去除
      一些反倒使得正、反例数日接近 7 然后再进行学习;

      ---

      第二类是对训练集里的正类样例进行"过来样"(oversampling) ，即增加一些正例使得正、反例数目
      接近，然后再进行学习;

      ---

      第三类则是直接基于原始训练集进行学习，但在用训练好的分类器进行预测时，将式 (3.48)嵌入到其决策过程中，称为"阔值移动" (threshold-moving)

      ---

    • 欠采样法的时间开销通常远小于过来样沽，因为前者丢弃了很多反例，使得分类器训练集远小子初始训练集，而过来样法增加了很多正例，其训练、集大于初始训练集.需注意的是，过采样法不能简单地对初始正例样本进行重复来样，否则会招致严重的过拟合 7 过采样法的代表性算法 SMOTE [Chawla et al., 2002] 是通过对训练集里的正例进行插值来产生额外的正例.另一方面，欠采样法若随机丢弃反例?可能丢失一些重要信息;欠采样法的代表性算法EasyEnsemble [Liu et 此， 2009] 则是利用集成学习机制，将反倒划分为若干个集合供不同学习器使用，这样对每个学习器来看都进行了欠采样，但在全局来看却不会丢失重要信息. [P66]

  • 3.7 阅读材料

    • 多分类学习中虽然有多个类别，但每个样本仅属于一个类别.如果希望为一个样本同时预测出多个类别标记，例如一幅图像可同时标注为"蓝天"、“白云”、“羊群”、“自然场景”?这样的任务就不再是多分类学习，而是"多标记学习"(multi-labellearning) ，这是机器学习中近年来相当活跃的一个研究领域 [P67]