吃瓜教程Task2 机器学习西瓜书第三章线性模型

 

第三章思考与笔记

           1,本章是西瓜书介绍的第一个机器学习算法模型，个人笔记对机器学习算法的描述将遵循机器学习三要素“模型”，“策略”，“算法“角度。
           2,在第三章的线性模型中只介绍了线性回归，对数几率回归和线性判别分析。这三个模型也分别对应了常见的三类不同的机器学习任务，分别是回归问题，分类问题和特征降维。但是线性模型不止此三个，凡是最终要学习的假设空间定义为f(x)=WtX+B的本质上都可以称之为线性模型，譬如后续章节中介绍的感知机和支持向量机，最终学习到的模型也是f(x)=WtX+B的形式。这几个算法的区别仅仅在于学习的“策略”不同，学习“策略”就是我们从有无限个参数确定的无限个线性函数中选出来我们最想要的那个线性函数的所依赖的准则和标准。这个标准可以是最小二乘(线性回归)，也可以是"几何间隔"最小(支持向量机)，甚至更直观的是分类的错误最少(感知机)。
          3,不同机器学习算法的区别可以认为是三要素中任何要素的不同，譬如都是线性模型，策略不同就可以有感知机算法和对数几率算法，模型不同可以有决策树算法和线性模型算法。 本章还单独介绍了实际操作中可能遇到的多分类问题，类别不平衡问题，针对这些问题所可以采取的对应措施，个人将这样的针对实际流程中出现的问题对应的“操作”定义为“方法”，区别于对数几率回归等来解决诸如“回归”“分类”...具体的机器学习算法。
         4,对于线性模型的解释也可以基于概率的角度进行，此时我们假设要学习的模型形式不是一个形如f(X)=WtX+b根据输入的X的属性进行线性变化得到对应的f(X)输出结果的判别式。而是一个条件概率P(Y|X)，输出的是关于输出X，Y可能取值的条件概率（实际上对数几率回归正是这样的概率模型）,对于线性回归也可以有这样的概率解释，基于极大似然估计最大化后验概率推导同样可以得到跟基于最小二乘法推导的线性回归参数W的一模一样的解析解。
         5,同时，对于线性回归模型，虽然能够求得其解析解，但是在实际问题中真正能有解析解的情况是非常少见的，在解析解中要求XTX可逆，现实情况中样例的属性数目可以非常非常多，甚至轻易超过样例数，此时显然不可逆。也就无法求得解析解，对于这样的情况我们可以采取以下操作：
 （1）使用梯度下降法求解
 （2）添加正则化项，最小二乘法要求各特征间独立才能保证XTX可逆，这是一个很强的假设。若特征间不独立或者有很强的相关性，譬如xi=-xj，则对于w1xi+w2xj，xi的一个微小的扰动都会使得损失函数发生很大的改变。加入二范数正则化项后约束了参数w的值，使得其更靠近原点。因而即使特征相关性很强，对于微小扰动也更鲁棒，增加了算法的求解的稳定性。 在正则化项下求解出的W可以认为是使得结构风险最小化准则下的最小二乘法解析解。
  （3）使用主成分分析法等降维的方法，使降维之后的XTX可逆，再求解其解析解。

 

 

 

 

课程学习链接:​​https://datawhale.feishu.cn/docs/doccndJC2sbSfdziNcahCYCx70W​​​​​​​ps

视频学习链接:https://www.bilibili.com/video/BV1Mh411e7VU