论文阅读------Stochastic Gradient Descent with Differentially Private updates

SGD

代价函数

对于不同批量数量不一的数据，使用相同的代价函数求和进行激励计算，具体的函数描述为：$\frac{1}{n}{\sum }_{i=1}^{n}l(w,x_i,y_i)$

正则化描述

使用范式对其进行正则化，分为$L1$正则化与$L2$正则化，于是对w进行正则化后得到的结果为：（使用的是$L2$正则化）

$w^{\ast }=\frac{\lambda }{2}||w|{|}^2+\frac{1}{n}{\sum }_{i=1}^{n}l(w,x_i,y_i)$
这里的$\lambda$为正则化参数，$w^{\ast }$为在损失函数约束下的$L2$正则化。

训练过程

目标是让代价函数最小，于是具体的过程为：
$\min (\frac{1}{n}{\sum }_{i=1}^{n}l(w,x$