最小二乘法 最小二乘问题

一般所讲最小二乘是一大类问题，而不是方法。

Ng所讲的最小二乘法，是一种切结线性最小二乘问题的方法。

线性回归目标函数简单，可以用直接利用最小二乘的矩阵公式：

对于逻辑回归，其目标函数比较复杂，则无法像线性回归一步直接算出最终解，而采用梯度下降法或牛顿法来求解。

总结

最小二乘的目标：求误差的最小平方和，对应线性和非线性

对于线性最小二乘的解释closed-form,即x=;

对于非线性最小二乘没有closed-form，则采用迭代法求解。