机器学习回归（简单的回归问题）

1、代价函数

代价函数的公式，用于求线性回归函数的系数我们可以使用、

成本函数来衡量我们的假设函数的准确性

成本函数取到最小值时的参数是我们回归函数所需要的参数

代价函数的曲线总是呈弓形（凸函数）

2、随机梯度下降

 

我们有假设函数，我们有一种方法可以衡量它与数据的匹配程度。现在我们需要估计假设函数中的参数。这就是梯度下降的地方

随机梯度下降用来寻求函数的最小值

梯度下降函数帮我们找到代价函数的最小值或是局部最小值

步长不能太短会浪费时间，步长不能太长会导致函数不能收敛