【Task5(2天)】PyTorch实现L1，L2正则化以及Dropout

【Task5(2天)】PyTorch实现L1，L2正则化以及Dropout

• 了解知道Dropout原理
• 用代码实现正则化(L1、L2、Dropout）
• Dropout的numpy实现
• PyTorch中实现dropout

---

了解知道Dropout原理

Dropout是防止过拟合的一种方法（过拟合overfitting指：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。） 训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种优化方法。

Dropout是指在神经网络的每次训练中以一个参数p为概率，使部分隐层部分神经元失活，以此来解决过拟合问题，效果可以当作用多个不同的神经网络模型在同一训练集上进行训练，最后集成求平均。Dropout还可以消除某些神经元之间的联系，增强模型的鲁棒性。

用代码实现正则化(L1、L2、Dropout）

• L1范数

  L1范数是参数矩阵W中元素的绝对值之和，L1范数相对于L0范数不同点在于，L0范数求解是NP问题，而L1范数是L0范数的最优凸近似，求解较为容易。L1常被称为LASSO.

  regularization_loss = 0
  for param in model.parameters():
      regularization_loss += torch.sum(abs(param))
  
  for epoch in range(EPOCHS):
      y_pred = model(x_train)
      classify_loss = criterion(y_pred, y_train.float().view(-1, 1))
      loss = classify_loss + 0.001 * regularization_loss  # 引入L1正则化项
  

• L2范数

  L2范数是参数矩阵W中元素的平方之和，这使得参数矩阵中的元素更稀疏，与前两个范数不同的是，它不会让参数变为0，而是使得参数大部分都接近于0。L1追求稀疏化，从而丢弃了一部分特征（参数为0），而L2范数只是使参数尽可能为0，保留了特征。L2被称为Rigde.

  optimizer = torch.optim.SGD(model.parameters(), lr=1e-1, momentum=0.9, weight_decay=0.001)
  

• Dropout

  import numpy as np
  
  X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])
  
  y = np.array([[0,1,1,0]]).T
  
  alpha,hidden_dim,dropout_percent,do_dropout = (0.5,4,0.2,True)
  
  synapse_0 = 2*np