FTRL的基础知识准备 part-1

前言

　　最近看了下在线学习FTRL的相关东东，对其背后的理论知识梳理下。
　　假设loss 函数为 $f(x)$，其中$f_t(x_t)$表示第$t$轮数据，在第$t$轮参数$x_t$所对应的损失。

$$x_{t+1}=\underset{x} {argmin} \sum_{t=1}^t f_t(x)$$ 　　主要求证一个问题，上面这个取参数的策略在什么情况下有效？为什么有效？

1 评估函数$Regret$

　　假设loss 函数为 $f(x)$，其中$f_t(x_t)$表示第$t$轮数据所对应的loss函数。$x_t$表示$t$轮数据时，预测模型所对应的参数。
　　那么，经过T轮数据后，每轮的损失叠加到一起，表示为：$\sum_{t=1}^T f_t(x_t)$
　　假设，有个全局最理想的参数$x^*$，其对应的T轮数据后的，损失叠加到一起表示为：$\sum_{t=1}^T f_t(x^*)$
　　那么预测模型的经过T轮数据的损失总和与最理想状态的损失之和的差表示为：

$$Regret(x^*, f_t) = \sum_{t=1}^T f_t(x_t) - \sum_{t=1}^T f_t(x^*) = \sum_{t=1}^T f_t(x_t) - f_{1:T}(x^*)$$
　　我们通常用 $Regret(x^*, f_t)$来衡量预测模型的好坏，可以看到，其差是越小越好。
　　长远来看，平均的误差： $$\underset{T -> +\infty } { lim } \frac {Regret(x^*, f_t)}{T}$$

2 Regret Bound

　　$在loss函数和regular函数$，(及其他约束函数) 选取得当的情况，$Regret是有上限的。$
　　$这里先给出Regret的两个上限，再然后予以证明。$
　　1) $General$ $FTRL$ $Bound$
　　假设$r_t使得h_{0:t}+f_{t+1}=r_{0:t}+f_{1:t+1}是1-strong-convex w.s.t ||·||_{(t-1)}$
　　

$$Regret(x^*, f_t) \leq r_{0:T-1}(x^*) + \frac{1}{2}\sum_{t=1}^T ||g_t||_{(t-1), *}^2$$
　　 2) $FTRL$-$Proximal$ $Bound$
　　假设 rt使得h0:t=r0:t+f1:t是1−strong−convexw.s.