本文介绍了序列化估计方法，特别是Robbins-Monoro算法，用于在线更新高斯分布的参数。该算法通过每次新数据到来时修正估计值，逐步逼近最佳估计。在机器学习和大数据场景中，这种方法优于批处理。详细阐述了算法的三个关键步骤，并展示了如何应用该算法估计高斯分布的均值，其中修正系数an与数据方差和样本数量有关。
2.3.4和2.3.5节分别介绍了求解高斯分布的最大似然估计的两种方法， 2.3.4节是先给出似然函数，然后求似然函数最大值。2.3.5节介绍了一种序列化估计方法。
序列化估计的思想是根据已有数据得出一个估计，等有新的数据之后，再用新数据对上一步估计结果进行修正，得到新的估计值。 这种方法在一些在线应用，或数据比较大的情况下，用批处理的方法不能处理完所有数据情况下，经常使用。
这里介绍了一种通用方法，Robbins-Monoro算法。 该算法主要步骤：
1）给出回归函数 f(u)=E[z|u]. 其中限定f(u)为非降函数；
2）根据迭代公式（2.129）， 每次读入一个新数据，把这个新数据代入以后古籍中，得到一个修正量，不断迭代，逐步逼近函数f(u)=0的u值；
3）其中迭代公式中aN称为修正系数，需满足（2.130）（2.131）和（2.132）三个条件；
Robbins-Monoro算法思想就是利用当前函数的取值去推断函数的零点的位置。令f(U*)=0, u表示当前估计值，由函数是非降的， 当f(u)>0时， 则u>U*, 此时应向左修正， 当f(u)<0时， 则 u<U*, 此时应向右修正。为了不让一次左修正和一次右修正又回到原点，每次修正步长（修正系数aN)应该有所减少&#x
最低0.47元/天 解锁文章
8229
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
