PyTorch实现L1,L2正则化以及Dropout(给代码截图参考)
1.了解知道Dropout原理
2.用代码实现正则化(L1、L2、Dropout)
3.Dropout的numpy实现
4.PyTorch中实现dropout
参考代码:
2.基础知识
L1正则化:直接在原来的损失函数基础上加上权重参数的绝对值。
由上式可知,当W大于0时,更新的参数w变小;当w小于0时,更新的参数变大,所以使参数变为0,即特征稀疏化。
L2正则化:
正则化的更新参数相比于未含正则项的更新参数多了