机器学习之梯度下降法

一、名词解析

（一）微分

由函数B=f(A)，得到A、B两个数集，在A中当dx靠近自己时，函数在dx处的极限叫作函数在dx处的微分，微分的中心思想是无穷分割。微分是函数改变量的线性主要部分。微积分的基本概念之一。

（二）梯度

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

（三）梯度下降法

梯度下降法是一个一阶最优化算法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。

二、用梯度下降法手工求解函数的极小值点

解：设初始点为X1=〖(〖x1〗^((1) ),〖x2〗^((1) ))〗^{T=〖(3,2)〗}T，学习率为m。
初始点处梯度为g1==g(x1)=〖(2,2)〗^T不等于0，因此更新迭代公式带入原函数中，得：f(x2)=f(x1-mg1)=10/3m ^2-8m+5,此时m1=6/5为函数极小点，因此：
x2=x1-m1g1=〖(3/5,-2/5)〗^T,一次迭代结束。
再将x2作为初始点，重复上面的迭代步骤，得到：x3=〖〖(3/5〗^2,〖2/5〗2)〗^T。
根据规律显然可知：

f(x)的极小点就是这簇椭圆的中心x=〖(0,0)〗^T

三、在excel中使用梯度下降法求解 z=2(x-1)^2+ y ^2 的近似根

设置（x，y）的初始值为（2，1）
其他表格输入相应的计算公式