Online Convex Optimization
与OGD类似,区别即获得的梯度是带噪声的。该处证明SGD方法的convergence rate,上边是regre bound。OGD算法是GD算法的在线版本,第一次引入是通过 Zinkevich。轮累积和,即可得到regre bound =是OGD最好的遗憾界,相关证明可以参考。对于强凸损失函数,通过设置步长序列。然后联合公式4和5,证明完毕。也就是说,每次从决策集取一个点。在该点的梯度,并且期望的方差是。,然后获得该点带噪声的梯度,,可行域内的一系列点集。
原创
2023-05-30 22:28:26 ·
427 阅读 ·
0 评论