吴大佬的网课——初识机器学习梯度下降法

之前讨论到机器学习训练其实就是找让代价函数最下的参数，但是总不能让我们人为一个个输入参数尝试吧，我们需要能自动找到对应参数的算法。吴大佬讲的第一个算法就是——梯度下降法

梯度下降法的具体步骤呢，其实和高数相关，高数有梯度这个概率，梯度方向是改变函数值最大的方向，所以梯度下降法的基本操作就是让对应维度的值减去一个梯度乘乘一个学习率（数字），这样就让代价函数下降了。
需要注意的是我们我们要同时改变所有参数不能一个一个的改变，因为一个一个的改变，会让后面改变的参数的求导值发生变化，最后导致整个函数下降方向改变。