其中
为第i组数据的independent variable,
为第i组数据的dependent variable,
为系数向量。
最小二乘法,如上所示。
可能有人感觉直接对求偏导比较方便。但是我们根据normal equation 可以得知
θ= ,这时的计算量很大,同时注意此时矩阵也很大(求逆也计算也不小)。
此时使用梯度下降法或者梯度上升法我们仅仅把数字输入,进行简单的计算即可。
同时θ的变化很小时,我们可以自动终止。
如果需要更详细的资料建议:http://www.zhihu.com/question/20822481,其中前两个答案联合解释的比较清晰。