梯度下降算法
一、梯度下降算法是一个最优化算法,它是沿梯度下降的方向求解极小值(也可以沿梯度上升方向求解极大值的一种方法。
二、众所周知,我们从山顶下山,想要求得到山脚路程最短的一条路径,那么我们每次都应该沿着最陡峭的方向下山。
下山问题即我们这里所说的梯度下降问题。最陡峭的方向即为函数斜率绝对值最大的方向。那么,为什么沿斜率方向函数值下降的最快呢?我们可以运用高等数学的知识来证明这个结论。
若函数z=f(x,y)的增量与pp'两点切线距离之比在p'沿着方向趋于p时,趋于零极限存在,则称函数在p点沿着方向的方向导数,表示为:
对函数z求偏导,对x有: