《机器学习》（周志华）学习笔记（三）：线性模型

1.线性模型基本形式

线性模型就是学习器试图学到一个通过属性的线性组合来预测的函数，数学表达如下

以向量表示可以写成

这里，w为列向量。

2.线性回归

线性回归即回归类任务学习线性模型的过程，其核心方法即均方误差最小化。均方根误差最小化求解线性方程参数的过程即为最小二乘法。推导过程这里不赘述。值得注意的是们对于多元线性回归，求解的矩阵往往不是满秩矩阵，折就意味着可以有多组解都可以使得均方根误差最小，选择哪一个与算法的归纳偏好相关，需要用到正则化（regularization）项（后面章节内容）。
线性模型在实际应用中还可以进行衍生，如对数线性回归。