Stanford 3: rTop-k: A Statistical Estimation Approach to Distributed SGD

本文同样来自stanford 组，不过他研究的是分布式学习中的weight compression and estimation problem.

问题建模

分布式统计参数估计

首先，我们考虑 NN 有 $d$ 个参数, 他们服从分布 $p_{\theta }$. 总共有 $n$ 个节点观测 $p_{\theta }$ 每个节点得到一个 realization $X_n$。 因此我们有
$$X_1,X_2,...,X_n\stackrel{\text{i.i.d.}}{\sim }{p}_{\theta }$$

Problem setup 是: 每个节点把自己的观测 $X_i$ 独立的编码为 $k$-bits
$$M_i={\Pi }_i(X_i)$$
并发送给PS。而PS的目标是从 $nk$-bits $M=(M_1,M_2,...,M_n)$中估计出 $\theta$ 使得 worst case squared ${\ell }^2$ risk 最小化:
inf ⁡ { Π i } , θ ^ sup ⁡ θ ∈ Θ E θ ∥ θ ^ ( M ) − θ ∥ 2 \inf_{\{\Pi_i\},\hat{\theta}}\sup_{\theta\in\Theta}\mathbb{E}_\theta\|\hat{\theta}(M)-\theta\|^2 {Πi​},θ^inf​θ∈Θsup​Eθ​∥θ^(M)−θ∥2

即，我们需要联合设计 { Π i } \{\Pi_i\} {Πi​} and $\hat{\theta }$.