生活中的梯度下降法

生活中的梯度下降法

• 2022.9.3
  今日在小区游乐场遛娃，看到很多游乐设施有雨水流淌的痕迹，一条条，相似且规整。细想来，其与梯度下降法原理相合，遂做此文。
  
  

• 雨水沿着梯度（反）方向流动，流动到极值点，这就是梯度下降法。它不能保证算法收敛到最小值。
• 梯度下降法（英语：Gradient descent）是一个一阶最优化算法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。