梯度下降算法（Gradient Descent)

最近在搞论文，需要用梯度下降算法求解，所以重新整理分享在这里。主要包括梯度介绍、公式求导、学习速率选择、代码实现。

梯度下降的性质：

1.求得的解和选取的初始点有关

2.可以保证找到局部最优解，因为梯度最终会减小为0，则步长与梯度的乘积会自动越来越小。

梯度简介

一个多元函数的在某点的梯度方向是函数值在该点增长最快的方向，即方向导数取最大值的方向。

问题描述公式求导学习率选择

假设要学习这么一个函数：

那么损失函数可以定义成：