【机器学习】【线性回归】梯度下降算法核心思想剖析和数学公式推导

假设函数

训练数据集的假设函数（hypothesis function），又称模型函数：

    

代价函数

评估假设函数精确度、拟合度的代价函数（cost function）

    

代价函数的核心功能：代价函数的函数值用来评估假设函数的精确度、拟合度。精确度、拟合度的比较对象是我们提供的训练数据集。

如果有一组(θ0，θ1，……，θn)使得代价函数取得最小值，则将这组(θ_0，θ1，……，θn)对应的假设函数对于我们提供的训练数据集有（最）很好的精确度，拟合度。即如果我们给一个待验证的特征值x，则通过h(x)计算出来的输出数据y=h(x)，和实际的数据y最接近。

梯度下降算法的目的

找到一组(θ0， θ1，……，θn)，使得代价函数的值最小，从而得到拟合度很好，精确度很高的假设函数 。

下面以简单线性