《Data Cleansing for Models Trained with SGD》笔记

[1] 在其 appendix B 中证 Lemma 7 时说由于 $\left(1-{\eta }_s\Lambda \right)I\prec Z_s\prec \left(1-{\eta }_s\lambda \right)I$，直接可得 (7) 式，这里对 lemma 7 的证明做注。

[1] 中相关定义：$$\begin{array}{rlr}& h_j(\Lambda )\le \Vert \Delta {\theta }_{-j}\Vert \le h_j(\lambda )& (7)\\ \Delta {\theta }_{-j}& :=\frac{{\eta }_{\pi (j)}}{\left|S_{\pi (j)}\right|}{Z}_{T-1}{Z}_{T-2}\cdots Z_{\pi (j)+1}g\left(z_j;{\theta }^{[\pi (j)]}\right)& (a)\\ h_j(a)& :=\frac{{\eta }_{\pi (j)}}{\left|S_{\pi (j)}\right|}\prod _{s=\pi (j)+1}^{T-1}\left(1-{\eta }_{s}a\right)\Vert g\left(z_j;{\theta }^{[\pi (j)]}\right)\Vert & (b)\\ Z_t& :=I-{\eta }_t{H}^{[t]}& \\ H^{[t]}& :=\frac{1}{\left|S_t\right|}\sum _{i\in S_t}{\nabla }_{\theta }^2\ell \left(z_i;{\theta }^{[t]}\right)& (batch平均Hessian)\\ g(z;\theta )& :={\nabla }_{\theta }\ell (z;\theta )& (梯度)\end{array}$$ 其中（几个此处出现了但不用管的量）：

• $S_t$ 表示第 t 步优化（即训练、梯度下降）的 mini-batch；
• ${\eta }_t$ 是此步的 learning rate；
• $\pi (j)$ 表示 instance $z_j$ 出现的那个 step（lemma 7 是用来证 theorem 5 & 6 的，而它们都是在 1 epoch 的情景下，每个 instance 只出现一次）；
• T 是一个 epoch 的 step 数。

[1] 中三个假设：

1. loss 函数 $l(z;\theta )$ 二阶可导，即 Hessian 存在；
2. $\exists \lambda ,\Lambda >0$，对 $\forall z,\theta$，有 $\lambda I\prec {\nabla }_{\theta }^2\ell (z;\theta )\prec \Lambda I$
3. ${\eta }_s\le 1/\Lambda$

其中 $\prec$ 的含义文章没解释。经查，它用在向量上表示 majorization^[2]，但第二条假设是用在矩阵上。经 [3] 评论提醒，可能指 Loewner 偏序^[4]：

• $A\succ B$ 表示 $A-B$ 正定
• $A⪰B$ 则表示 $A-B$ 半正定

(半)正定阵的相关内容可参考 [5,6]。[4] 用 >、$\ge$ 表示正定、半正定，[6] 则用 $\succ ,⪰$。正定阵是 Hermitian 阵^[7]的特例，是对对称矩阵^[8]来谈的，而 Hessian 矩阵^[9]（二阶导）是对称矩阵。

解释 lemma 7 的证明要用到正定阵的几点性质。若 A、B 都正定，则：

• $\forall x\ne 0,x^{T}Ax>0$（正定阵定义）
• A + B、ABA、BAB 都正定，若 AB = BA，则 AB 也正定；
• $A\succ B\wedge B\succ C\Rightarrow A\succ C$（传递性，证明见 [6]）

因为 (7) 是在讨论向量范数，就考察当 $A\succ B\succ 0$，对 $\forall x\ne 0$，$\Vert Ax\Vert$ 与 $\Vert Bx\Vert$ 的大小关系。为方便，转成平方（假设是向量二范数）：

• $\Vert Ax{\Vert }^2=x^T{A}^{T}Ax=x^T{A}^{2}x$（A、B 都是对称阵）
• $\Vert Bx{\Vert }^2=x^T{B}^{2}x$

那么：$$\begin{array}{rl}\Vert Ax{\Vert }^2-\Vert Bx{\Vert }^2& =x^T{A}^{2}x-x^T{B}^{2}x\\ & =x^T(A^2-B^2)x\\ & =x^T(A+B)(A-B)x\end{array}$$ 由前面正定阵性质：

• 因 A、B 都正定，所以 A + B 也正定；
• 条件已知 A - B 正定（$A\succ B$）；
• 因 (A + B)(A - B) = (A - B)(A + B) = $A^2-B^2$，所以 (A + B)(A - B) 也是正定。

所以 $\Vert Ax{\Vert }^2-\Vert Bx{\Vert }^2=x^T(A+B)(A-B)x>0$。这说明 $A\succ B\succ 0$ 的直观意义是 A 对向量的拉伸效果比 B 好，拉伸同一个向量 x，A 拉完比 B 拉完的向量范数更大（模更大，向量更长）。

有这个直观解释后回看 (7) 式证明。对比前面 $\Delta {\theta }_{-j}$ 和 $h_j(\cdot )$ 的定义（前文 (a)、(b) 式）可知 $h_j(\cdot )$ 是照着 $\Delta {\theta }_{-j}$ 的形式构造的，$h_j(\lambda )$ 就相当于把 $\Delta {\theta }_{-j}$ 中的各 $Z_s$ 换成相应的 $(1-{\eta }_s\lambda )I$ 再取范数。
$$\begin{array}{rlr}\because & \exists \lambda ,\Lambda >0,\forall z,\theta ,\lambda I\prec {\nabla }_{\theta }^2\ell (z;\theta )\prec \Lambda I& \\ & H^{[s]}:=\frac{1}{\left|S_s\right|}\sum _{i\in S_s}{\nabla }_{\theta }^2\ell \left(z_i;{\theta }^{[s]}\right)& \\ \therefore & \lambda I\prec H^{[s]}\prec \Lambda I& \\ \therefore & (1-{\eta }_s\Lambda )I\prec Z_s=I-{\eta }_s{H}^{[s]}\prec (1-{\eta }_s\lambda )I& (c)\end{array}$$ 因为 $\forall x\ne 0,x^{T}Ix=x^{T}x>0$，所以单位阵 $I$ 正定；由前面第 3 条假设，$1-{\eta }_s\Lambda >0$，故 $x^T(1-{\eta }_s\Lambda )Ix>0$，所以 $(1-{\eta }_s\Lambda )I$ 正定；再由 ©，$Z_s$、$(1-{\eta }_s\lambda )I$ 都正定（传递性），于是可以套上面的直观解释：对向量的拉伸能力 $(1-{\eta }_s\Lambda )I$ 弱于 $Z_s$ 弱于 $(1-{\eta }_s\lambda )I$，所以同样是对 $g(z_j;{\theta }^{[s]})$ 进行（一系列）拉伸，再取范数，再带上前面的正常系数 $\frac{{\eta }_{\pi (j)}}{|S_s|}$，可得 (7)。

[10] 讲的文章也有用到 Loewner 偏序，且跟 [1] 是相关的文章。

References

1. (NIPS 2019) Data Cleansing for Models Trained with SGD - paper, code
2. Majorization
3. 矩阵论记号约定
4. Loewner order
5. 正定矩阵，正定矩阵
6. 半正定矩陣的偏序關係
7. Hermitian matrix
8. 对称矩阵，对称矩阵
9. Hessian matrix
10. 《Understanding Black-box Predictions via Influence Functions》笔记