又看到 又用到 梯度下降法
再次总结
一个变量x 一个函数 f(x)
梯度下降法就是为了迭代出 一个x 是的在x点 f(x)能取到极值。
一般来说 是f(x)的导数为零的点 就是这个x的取值 但是方程不好解 所以我们不解方程 我们用迭代
x(k+1)=x(k)-Ita*deta_f(x)
deta_f(x)怎么求?就是增量怎么求?
首先明白增量是什么?
deta_f(x)=g(x(k))就是x(k)在g(x)处的取值,g(x)就是f(x)的导数的负值 也就是负梯度方向 也就是最快的下降方向。
Ita步长:取值一般去 能够使f(x(k+1))最小的 步长 0.001 http://blog.csdn.net/yudingjun0611/article/details/8147046
白话:
负梯度方向本来就是函数 减小的方向 延这个方向 不断根据步长来时x往x*方向靠 当然 会收敛。
步长太小 就会出现局部极小的现象 就像一个小坑里跳不出来,步长大一些就可以跳过局部极值 但是会在 极值左右不断震荡。