数值优化-梯度下降法

NG的课件1，引出常用的优化方法梯度下降法(gradient descent)

   

对于 ordinary least squares regression， cost function为

求最小值，意味着求导数为0的位置

   

考虑只有一个样本

   

这叫做LMS update rule (Least Mean Squares)

   

对应所有样本的训练集合

   

这种方法叫做batch gradient decent ，与之对应的在样本数目比如海量的情况下，为了计算快速，经常会每

扫描一个点就做一次update而不是扫描所有点后做一次update，对应称作stochastic gradient decent

   

在逻辑回归中:

对应按照MLE观点看，最大化概率