机器学习之代价函数、梯度理解

  代价函数也叫损失函数，训练数据集的过程就是优化代价函数的过程，代价函数对每个参数的偏导数就是梯度下降中提到的梯度。防止过拟合时添加的正则化项也是添加在代价函数后面的。

  过拟合和正则化的概念讲的好的文章：http://blog.csdn.net/cc18868876837/article/details/61414327

平方误差代价函数（均方误差）可能是解决回归问题常用的手段。

• 在线性回归中最常用的是均方误差，具体形式为：

m为训练样本的个数；

h_θ(x)：用参数θ和x预测出来的y值；

y：原训练样本中的y值；

i：第i个样本