L1/L2正则化
L2 regularization term = w1^1+w2^2+...+wn^2
grad = 2(w1+w2+...+wn) weight decay
L1 Regularization: 拉普拉斯分布 左右对称
L2 Regularization:高斯分布 w的平方项
拉普拉斯分布正则化能够使得模型更倾向于得到稀疏参数
稀疏参数的优点在特征选择上
优化器:
普通更新
x+=-learning_rate * dx
动量更新
v= mu * V -learning_rate * dx #与速度融合
x += v #与位置融合
di随机梯度下降
内斯特洛夫动量:
用下一步的梯度继续计算
x_ahead = x+mu*v
#计算dx_ahead(在x_ahead处的梯度,而不是x处的梯度
速度更新保持不变
位置更新变了形式
按照这一步的速度与上一步的差值
Adam优化器:
利用beta1,beta2两个参数
beta1 = 0.9
beta2 = 0.999
m = beta1*m +(1-beta1)*dx
v = beta2*v +(1-beta2)*(dx**2)
x+=-learning_rate*m/(np.sqrt(v)+eps)
用动量去平滑
当前梯度与历史梯度的加权平均和(归一化)/根号下开方的速率做一个平滑
Adam比std平滑
没有动量/有动量
Adam
def __compute_step(self,idx,k.grad):
momentum = self.mu*self.momentum_memory[idx][k]['momentum'] - self.lr*grad
self.momentum_memory[idx][k]['momentum'] = momentum
可以求出momentum
return momentum
_init_momentum遍历模型每层参数
#Adam需要代入上一步的momentum与梯度进行计算
Adam总结:
1.设置beta1,beta2
2.取出第一步的均值标准差,第二步值的均值标准差
3.第一步= beta1*均值标准差+(1-beta1)*梯度
第二部方差 = beta2*均值标准差+(1-beta2)*二阶梯度
时间步+=1
4.存回momentum_memory
5.归一化操作
保留一阶矩,二阶矩,使用二者归一化更新方向