SGD中的自适应采样法

$$argmin\sum _{k\in C}\sum _{i\in C_k}P(i)f(i;\theta )(2)$$

式中，$P(i)=p_k\frac{1}{|C_k|},p_k=\frac{|C_k|}{N}$。$P(i)$的计算包含两个步骤：1）计算采样一个$C_k$的概率；2）计算从$C_k$中采样一个实例的概率$p_k$。
对于单个实例，（2）式对参数$\theta$求导为：

$$d^t=\frac{1}{N}\frac{1}{P(i)}\nabla f(i;\theta )(3)$$

由上式可知，梯度$d^t$的计算与采样一个实例的概率$P(i)$相关，而$P(i)$与采样一个$C_k$的概率的相关。因此，可以得出一个疑问，能否通过设置概率$p_k$来调整SGD的优化过程呢？答案是当然可以。
现在，建立这样一个模型：
$$mi{n}_{p_1,p_2,...,p_k}V(d^t)=E[d^{tT}{d}^t]-E[d^t{]}^{T}E[d^t](4)$$
该式中，第二项与$p_k$没有关系，可以忽略。最后，可以发现$p_k$其实仅与$E[d^{tT}{d}^t]$相关，即最小化梯度方差与每一个$C_k$中样本梯度的和的均值相关。将梯度$d^t$带入（4）式可以发现：
$$p_k\propto \frac{|C_k|}{N}\sqrt{\frac{1}{|C_k|}\sum _{i\in C_k}\Vert \nabla f(i;{\theta }^{t-1}){\Vert }^2}(5)$$
即，采样$C_k$的概率其实与$C_k$中样本的梯度大小相关。
因此在SGD中利用side information自适应采样步骤可以总结如下：
1）. 确定数据集的side information，利用side information将数据集划分成k组;
2）. 根据公式5计算每个组对应的选择概率$p_k$;
3）. 根据$p_k$计算采样单个实例的概率$P(i)$;
4）. $P(i)$带入公式（3）计算梯度$d^t$；
5）. 利用公式（1）更新模型参数$\theta$；
参考文献：[1] Siddharth Gopal,Adaptive Sampling for SGD by Exploiting Side Information,ICML,2016.