回归问题的一些笔记【梯度下降、学习率、损失函数的具象理解】

梯度下降法中，学习率是对导数的缩小倍数，如下图所示，若无学习率0.005，则x的变化幅度过大。
在函数中，导数为正代表y随着x递增，导数为负代表y随x递减。所有沿着导数相反的方向做细微变化，得到的新的y值一定比原本的y小。


在线性规划中，损失函数是需要被求最小值的函数，它是关于w和b的二元函数。
w与b通过loss对其的偏导进行更新。

线性规划的损失函数曲面如下图所示：