Linear models for regresion(回归)

线性回归模型使用的场景是有监督学习（supervised learning）。

例如下例给定训练样本集， 输入特征是二维的，让我们去预测房价。 我们就可以使用线性回归模型去求解。 例如多项式拟合价格和输入二维特征向量的关系， 我们模型的参数就是多项式前面的那些系数。

 

 

首先回归（regression）的目的就是指根据给定一个d维的输入特征向量x， 预测出一个或者多个取值连续的target variables t 的值。

线性回归模型常用的一个特殊的例子就是多项式拟合。 不过线性回归模型远非只有多项式， 而是还有很多的类型， 这主要是更具basis function的类型来看的。 尽管线性回归模型并不是输入特征向量的一个线性函数， 但是我们之所以称之为线性模型是因为他们是basis的线性函数。 更确切的说这些模型是模型参数的线性函数。 模型参数就是basis function 前面的weight参数， 即拟合函数是linear combination of basis function。

或者写成利用：

改写成如下：

其中：

 

这些basis functions 可以是输入特征向量的非线性函数。 常见的可以作为basis functions的函数类有多项式函数类， Gaussian basis functions如下：

亦可以是sigmoidal basis function:

亦可以是logistic sigmoid function: