机器学习——回归系数的计算（2）

 

1、最小二乘法(min square)求解回归系数

将训练特征表示为 X 矩阵，结果表示成 y 向量，仍然是线性回归模型，误差函数不变。那么
θ 可以直接由下面公式得出

用矩阵可表示为                                                

因为要求函数的极小值，对θ求导可得

使其等于0，即

则有

可求得回归系数

注意：上述公式中包含，也就是需要对矩阵求逆，因此这个方程只有在输入数据的矩阵X是列满秩矩阵时，即逆矩阵存在的时候有用。当数据的矩阵X不是列满秩矩阵时，需要使用岭回归的方法进行求解。

2、梯度下降法求解回归系数

在选定线性回归模型后，只需要确定参数 θ，就可以将模型用来预测。然而 θ 需要在 J(θ)最小的情况下才能确定。因此问题归结为求极小值问题，使用梯度下降法。 梯度下降法最大的问题是求得有可能是全局极小值，这与初始点的选取有关。
梯度下降法是按下面的流程进行的：
1）首先对 θ 赋值，这个值可以是随机的，也可以让 θ 是一个全零的向量。
2）改变 θ 的值，