几句话之梯度下降

背景

整理一下机器学习和深度学习的知识。
记忆力下降的厉害，不整理无动力学习，写博客大概是自我救赎的好途径吧。

梯度下降几句话

内容转载自：https://www.cnblogs.com/pinard/p/5970503.html



其中，θ是自变量，hθ是因变量。
梯度的方向是函数变化最快的方向，θ加上梯度乘以步长的话就是向最大的方向走一步，减去梯度乘以步长的话就是向最小的方向走一步。
梯度控制了走的方向，而步长控制了走的距离。
梯度刻画的是因变量变化的方向，我们的目标是找到因变量取极值时自变量的值，那么自然自变量要朝着让因变量取极值的方向走（求最大则沿着正梯度走，最小则沿着负梯度走）。