机器学习——线性回归模型

线性回归—它试图学得

我们通过“均方误差”，即最小化的过程，称为线性回归模型的最小二乘“参数估计” 。分别对和求导，得到

，

，

然后令它们等于零可得到和最优解的闭式解

，

，

其中为的均值。

更一般的情形是在数据集中样本由个属性描述。此时我们试图学得

，

这称为“多元线性回归”。

类似的，可利用最小二乘法的矩阵形式来对和进行计算得到它们最优解的闭式解。

然而现实任务中我们可能解出多组和，从而得到多个模型，选择哪一个模型作为最终模型将由学习算法的归纳偏好决定，常见的做法是引入正则化项。

另外，现实任务中，最优解的闭式解的求解算法时间复杂度和空间复杂度往往很大，为了加快求解速度和可视化求解过程，通常采用“梯度下降算法”来得到最优解（梯度下降算法一般得到的是局部最优解，但当目标函数为凸函数时，局部最优解即为全局最优解，这里“均方误差”函数为凸函数）。

需要指出的是，非线性任务也可通过线性回归模型来完成，如拟合

这个函数，可通过拟合

来得到。

它在形式上仍是线性回归，但实质上已是在求取输入空间到输出空间的非线性函数映射。