正则化---------Pytorch

最新推荐文章于 2024-07-20 10:30:00 发布

轻羽羽

最新推荐文章于 2024-07-20 10:30:00 发布

阅读量175

点赞数

本文链接：https://blog.csdn.net/qq_25841513/article/details/106253953

版权

# 正则化目标:减小方差
1、误差=偏差+方差+噪声
    偏差：预测和真实值的偏离程度(刻画学习算法的拟合能力)
        # 训练集结果和真实结果的差异，高偏差对应欠拟合
    方差：同样大小的训练集的变动所导致的学习性能变化(刻画数据扰动造成的影响)
        # 验证集结果和训练集结果的差异，高方差对应过拟合
    噪声：当前任务上任何学习算法所能达到的期望泛化误差的下界

# 目标函数=Loss+正则化项
2、L2(权值衰减):对权值的平方求和
    optim_wdecay = torch.optim.SGD(model.parameters(), lr=lr,weight_decay=1e-2)
3、L1:对权值的绝对值求和