pytorch学习(二)梯度：什么叫梯度？什么叫梯度下降

什么叫梯度？

在给梯度下一个准确的定义的时候，我们先来假设这样几种情况：（1）有一块金属板，下面有一处定点加热。然而，有一只蚂蚁正好在金属板的上面。随着加热的进行，金属板的温度会越来越高，蚂蚁会往凉快的地方爬行。众所周知，越是远离加热源，金属板的问题最低。那么问题来了，蚂蚁应该往哪个方向爬行，才能到达相对最凉快的地方呢？ 注意：这个方向就是我们要说的梯度方向。而这个方向应该是冷热变化最大的方向（2）有一个人在山顶，它要下山，但是山上有雾，可见度不高。但是太阳要下山，为了最快速度的下山，那么就得找所处位置最陡峭的路下山。那么假设我们能够知道当前位置最陡峭的地方，找到地方之后，往山下走一段。但是最陡峭的地方是变化的，所以我们得走一段路，找一次方向。这其实很困难。如果频繁测量方向，非常耗时，如果测量的过少，又有可能偏离轨道。所以需要找到一个合适的频率，来确保下山的方向不错误，同时又不至于耗时太多。

---

百度百科对于梯度的解释：表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向此变化最快，变化率最大。

 

下面从微分说起：微分其实可以认为是函数的变化率。

单变量微分其实非常简单，就是dy/dx.

多变量微分相对复杂一点，因为涉及到链式法则，但是梯度实际上就是多变量微分的一般化。

比如   f(x,y,z)=3x+6y+9z  .那么我们可以很容易算出

那么这里的梯度就是<