论文阅读SGD A Stochastic Approximation Method

前言

虽然这个算法大家都知道，但是具体如何证明的，这个有几个知道，我查了半天，毛都没？？？本文记录学习这篇论文的过程。

主体

part1

解释：要解决的问题是要知道x得多少时，M(x)=a。而且M(x)得方程不知道。

part 2

这个我想了俩小时大概弄懂了，H是一个概率函数，而非概率密度函数，dH(y|x)对y求导得话就得到关于y的概率密度函数，因此M(x)其实是给定x时y的期望值。这不就是概率论里的线性回归很像。

3

设定了一些约束条件，在约束条件下，bn是xn到解的距离，随着n变大bn趋于无穷小。