随机逼近算法简介

        随机逼近法，是一种应用广泛的参数估计方法。它是在有随机误差干扰的情况下，用逐步逼近的方式估计某一特定值的数理统计方法。

        寻找带误差的量测到的未知回归函数的零点或极值 , 是系统辨识，适应控制、模式识别、适 应滤波和神经元网络等领域中都要遇到的问题。 随机逼近提供了解决这一问题的递推方法 。

         当既不知道函数的表达式，又不能无误差的测量到函数值时，如何求解函数的零点或者极值，就是随机逼近要解决的问题。随机逼近控制方法有RM法，KW法。其中，基于KW法上的变形情况有：有限微分随机逼近算法(FDSA)、随机方向的随机逼近算法(RDSA)和同时扰动随机逼近算法(SPSA)。

         随机逼近法就是利用变量 x1,x2… 及对应的随机变量 y(x1),y(x2)… ，通过迭代计算，逐步逼近方程式的解。 常用的迭代算法为 Robbins- Monro (RM) 算法和 Keifer-Wolfowitz (KW) 算法。 在随机系统的估计、预报、控制和优化中，常常使用随机逼近算法。

        设未知函数为 h(x), 它的零点为 x0,h(x0)=0……(1), 对 h (.) 可以在任一点 x 进行测量，但测量带有误差，若 xn 为第 n 次测量时所取定的自变量的值，则函数的观测值为： y(n+1)=h( xn )+ζ(n+1)……(2), 其中 { ζn } 是测量误差序列，可以依赖于 xn ， h(.) 称为回归函数。用实际得到的序列 { xn } 和 { yn }, 去求回归函数的根 x 0 , 这就是随机逼近问题。