Learning Rate Adaptation for Differentially Private Learning

今天给大家分享一篇关于自适应学习率的文章，之前汇报过也有一篇文章算法叫ADADP，是从优化器层面对整个DP算法进行调整。

今天这篇文章算法名字也是叫ADADP，在很多DP文章中，很少有人利用验证集对超参数进行调优，因为这样做会导致一些额外的隐私预算，这篇文章的贡献就是利用数值分析的外推思想对学习率进行变换，这种自适应的变换从而避免了对验证集的使用。并且通过MA说明了该算法的优点。

2.2是一般的梯度更新公式，文章利用外推思想将学习率分为两步走，得出了theta1_hat，其中theta1/2又是通过上一步的theta0去计算的。最后通过泰勒展开得到了一个引理1，如果函数g是二阶可微的话，他能够在梯度下降阶段产生一个精确的误差估计值上界（一他）三次方。通过计算迭代l次的误差和文章计算出来的参数（套）做比较，如果误差小于（套）则进行学习率变换。

最右边是ADADP算法，可以看到他和DPSGD不同的是，DPSGD是把数据划分为固定大小的批次，ADADP算法是在每一轮需要迭代两个小批次，用于分别计算G1和G2，因此需要迭代N/2B次，最后通过判断条件去改变模型的学习率。

中间定理7是MA的组合定理，是说隐私损失的总矩是小于等于各个机制之和的矩，因为算法G1和G2都是独立的，所以有了定理9，根据定理9，相同的参数值q，σ和C，算法2运行的迭代次数是DP-SGD的一半。 最后文章经过实验验证证明了在隐私预算不断增加的情况下，文章提出的ADADP算法对比DPSGD DPADAM都能够找到一个更好的学习率，并且准确度也比她们高。