吴恩达机器学习4-6 正规方程学习收获

对于某些线性回归的问题，正规方程将提供更好的方法来求得参数θ最优值。之前我们一直在使用线性回归的算法是梯度下降法，为了最小化代价函数J（θ），我们使用梯度下降这种迭代算法，经过很多步也就是梯度下降的多次迭代来收敛到全局最小值。相反的，正规方程提供了一种求θ的解析解法，所以我们不再需要运行迭代算法，而是可以直接一次性求解θ的最优解。所以说正规方程只需要一步就可以得到最优值。采用微积分的方法，就是逐个对参数θ_j求J 的偏导数，然后把它们全部置零，采用这种方式能够求出θ0、θ1一直到θn的值这样就能够最小化代价函数J的θ值。这个偏微分最终可能很复杂。但其实不是遍历所有的偏微分。

假如有m=4个训练样本，为了实现正规方程法，构建一个矩阵X（m）*（n+1）这个矩阵里包含了训练样本的所有特征变量。对y也进行类似的操作构建一个向量y。可以利用以下公式求出θ的值使得代价函数最小化。

之前学过特征缩放和让特征变量的值在相似范围内，如果我们使用正规方程法那就不需要做特征缩放，尽管如果我们使用梯度下降法特征缩放依旧很重要，何时使用梯度下降何时使用正规方程，假如有m个训练样本，n个特征向量，梯度下降法的缺点之一就是要选择合适的学习率，这通常表示需要运行多次尝试不同的学习速率，找到执行效果最好的那一个，所以这是一项比较麻烦的工作。梯度下降法的另一个缺点就是它需要更多次的迭代，取决于具体的细节可能计算会更慢。至于正规方程我们不需要求学习率所以比较容易实现，也不需要画出代价函数J的图像来检查收敛性或者采取任何额外的步骤。梯度下降法在特征变量很多的情况下也能运行的很好，即使我们有上百万的特征变量，相对的正规方程我们计算X转置乘以X的逆，如果n非常大的时候运算量是非常大的。对于线性回归这个特定的模型，正规方程法是一个比梯度下降法更快的替代算法。