学习周志华老师《机器学习》西瓜书摘要及笔记。
第3章 线性模型
没想到中学时所学的一元一次方程再次展示了它的威力。在此基础之上扩展的线性模型虽然形式简单,却蕴涵机器学习中的重要基本思想,并具有很好的可解释性。
线性回归:
线性回归试图学习
中的参数w与b的值,其表达了各个数据在预测中的重要性。基于均方误差最小化的最小二乘法成为此类模型求解的首选。多元线性回归与对数几率回归是此类问题的进一步扩展,其中对数几率回归是一种分类方法。
线性判别分析:
LDA通过类内散度矩阵与类间功度矩阵得到广义瑞利商,即为最大化目标。
多分类学习:
基于二分类学习器处理多分类问题,拆解策略:一对一,一对其余,多对多。
类别不平衡问题:
基本策略:再缩放。
具体做法:对反类“欠采样”,对 正类“过采样”,“阈值移动”。