PyTorch实现L1，L2正则化以及Dropout

PyTorch实现L1，L2正则化以及Dropout

1. 了解知道Dropout原理

2. 用代码实现正则化(L1、L2、Dropout）

3. Dropout的numpy实现

4. PyTorch中实现dropout

   dropout是指在深度学习网络的训练过程中，对于神经网络单元，
   按照一定的概率将其暂时从网络中丢弃。（注意是暂时）
   

   对一层神经网络的实施dropout代码实现

d = np.random.rand(3, 2) < keep_drop
a = np.multiply(a, d)
a /= keep_drop
 //对激活值进行缩放，为了不影响下一层网络的最后的预期输出值，加上这个步骤来修正损失的值

1.L1范数

L1范数是参数矩阵W中元素的绝对值之和，L1范数相对于L0范数不同点在于，L0范数求解是NP问题，而L1范数是L0范数的最优凸近似，求解较为容易。L1常被称为LASSO.

regularization_loss = 0
for param in model.parameters():
    regularization_loss += torch.sum(abs(param))

for epoch in range(EPOCHS):
    y_pred = model(x_train)
    classify_loss = criterion(y_pred, y_train.float().view(-1, 1))
    loss = classify_loss + 0.001 * regularization_loss  # 引入L1正则化项

2.L2范数

L2范数是参数矩阵W中元素的平方之和，这使得参数矩阵中的元素更稀疏，与前两个范数不同的是，它不会让参数变为0，而是使得参数大部分都接近于0。L1追求稀疏化，从而丢弃了一部分特征（参数为0），而L2范数只是使参数尽可能为0，保留了特征。L2被称为Rigde.

optimizer = torch.optim.SGD(model.parameters(), lr=1e-1, momentum=0.9, weight_decay=0.001)

Dropout的numpy实现

import numpy as np

X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])

y = np.array([[0,1,1,0]]).T

alpha,hidden_dim,dropout_percent,do_dropout