1、最小二乘法(min square)求解回归系数
将训练特征表示为 X 矩阵,结果表示成 y 向量,仍然是线性回归模型,误差函数不变。那么
θ 可以直接由下面公式得出
用矩阵可表示为
因为要求函数的极小值,对θ求导可得
使其等于0,即
则有
可求得回归系数
注意:上述公式中包含,也就是需要对矩阵求逆,因此这个方程只有在输入数据的矩阵X是列满秩矩阵时,即逆矩阵存在的时候有用。当数据的矩阵X不是列满秩矩阵时,需要使用岭回归的方法进行求解。
2、梯度下降法求解回归系数
在选定线性回归模型后,只需要确定参数 θ,就可以将模型用来预测。然而 θ 需要在 J(θ)最小的情况下才能确定。因此问题归结为求极小值问题,使用梯度下降法。 梯度下降法最大的问题是求得有可能是全局极小值,这与初始点的选取有关。
梯度下降法是按下面的流程进行的:
1)首先对 θ 赋值,这个值可以是随机的,也可以让 θ 是一个全零的向量。
2)改变 θ 的值,