【周志华机器学习】线性模型

基本形式

线性模型试图学的一个通过属性的线性组合来进行预测的函数。若x1、x2…是一个样本的的属性取值，则：

一般用向量形式写成：

将参数W和b学的之后，模型就得以确定。

线性模型形式简单，易于建模，有很好的可解释性。许多功能更为强大的非线性模型可在线性模型的基础上通过引进层级结构或高维映射而得。

线性回归

线性回归试图学得：

如何确定w和b呢？关键在于衡量f(x)和y之间的差别。均方误差是回归任务中最常用的性能度量，我们试图让均方误差最小化。
基于均方误差最小化来进行模型求解的方法称为最小二乘法。在线性回归中，最小二乘法就是试图找到一条线，使得所有样本到直线上的欧式距离之和最小。
最后求得：