Coursera机器学习机器学习笔记 为什么线性回归中代价函数除以2m？

转载：http://blog.csdn.net/u010106759/article/details/50380442

线性回归中代价函数为：

$$J=\frac{1}{2m}\sum _{i=1}^m{\left(h_{\theta }(x^{\left(i\right)})-y^{\left(i\right)}\right)}^2$$

为什么是除以$2m$，第一反应不应该除以$m$么？在吴恩达机器学习视频公开课上讲解是为了后续数学计算的方便。

因为这里无论除以$2m$还是$m$，代价函数最优化的结果$\theta$都是相同的。利用梯度下降法对$J$求导，如果是$2m$，求导结果为：

$$\frac{\partial J}{\partial {\theta }_i}=\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }(x^{(i)})-y^{(i)}\right)\frac{\partial h_{\theta }\left(x^{(i)}\right)}{\partial \theta }$$

这里正好除以$m$，便于计算。