读书笔记-《机器学习》第三章：线性模型

第三章 线性模型

• 在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线的欧氏距离之和最小
• 许多功能更为强大的非线性模型可在线性模型的基础上通过引入层级结构或高维映射而得
• 广义线性模型：g(.)为单调可微函数，y=g-1(wTx+b)称为广义线性模型，其中g(.)称为联系函数
• Logistics Regression就是一个被Sigmoid函数归一化后的广义线性模型
• 线性判别分析（LDA）是一种经典的线性学习方法，又叫做Fisher判别分析
• 多分类学习最经典的拆分策略有三种：一对一、一对其余、多对多
• 类别不平衡问题
  • 欠采样：EasyEnsemble
  • 过采样：SMOTE
  • 再放缩（阈值移动）
• 过采样发不能简单地对初始正例样本进行重复采样，否则会招致严重的过拟合
• SMOTE：通过对训练集里的正例进行插值来产生额外的正例
• 稀疏性问题本质对应了L0范数的优化，这在通常条件下是NP难问题。LASSO通过L1范数来近似L0范数，是求取稀疏解的重要技术
• 代价敏感学习中研究最多的是基于类别的“误分类代价”
• 已经证明，对二分类任务可以通过“再放缩”获得理论最优解
• 在类别不平衡学习中通常是较小类的代缴更高，否则无需进行特殊处理
• 多分类学习和多标记学习的区别