【西瓜书+南瓜书】Chapter 3 线性模型

3.1 基本形式

• 预测函数 = 属性的线性组合，向量形式的公式为 $f(x)={\omega }^{T}x+b$
• 可以通过引入层级结构或者高维映射得到更强大的非线性模型
• 具有可解释性，因为 $\omega$ 直观体现各属性的重要性

3.2 线性回归

• 属性数值化
  • 若离散属性值之间存在序关系，可转化为连续值，比如高度为高、中、低可取值 { 1.0 ， 0.5 ， 0 } \left \{ {1.0， 0.5， 0} \right \} {1.0，0.5，0}
  • 若离散属性值之间不存在序关系，有 $k$ 个属性值时通常转化为 $k$ 维向量，比如西瓜、南瓜、黄瓜可转化为$\left(0，0，1\right)$，$\left(0，1，0\right)$，$\left(1，0，0\right)$
• 回归任务常用均方误差做性能度量，它对应几何里的欧氏距离
• 求解公式解析
  • 待编辑

3.3 对数几率回归

• 通过构造单调可微函数，把分类任务的 $y$ 和线性回归模型的预测值 $f(x)$ 对应起来，让线性回归可用于分类任务

3.4 线性判别分析

3.5 多分类学习

3.6 类别不平衡问题