机器学习中的正则化方法

最新推荐文章于 2024-10-05 04:50:48 发布

Shingle_

最新推荐文章于 2024-10-05 04:50:48 发布

阅读量1.2k

点赞数 2

分类专栏：机器学习文章标签：正则化 L1 L2 regularization Dropout early stopping

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Shingle_/article/details/82024114

版权

机器学习专栏收录该内容

48 篇文章 2 订阅

订阅专栏

参数范数惩罚

L1 L2 regularization

正则化一般具有如下形式：（结构风险最小化）

这里写图片描述

其中，第一项是经验风险，第二项是正则化项，lambda>=0为调整两者之间关系的系数。

正则化项可以取不同的形式，如参数向量w的L2范数：

这里写图片描述

假设以平方差为损失函数，则优化目标为：

m i n w \sum i = 1 m (y i - w T x i) 2 + λ | | w | | 22

$min_w \sum_{i=1}^m (y_i - w^Tx_i)^2 + \lambda ||w||_2^2$

正则化项也可以是参数向量w的L1范数：

这里写图片描述

m i n w \sum i = 1 m (y i - w T x i) 2 + λ | | w | | 1

$min_w \sum_{i=1}^m (y_i - w^Tx_i)^2 + \lambda ||w||_1$

L1范数和L2范数都有助于降低过拟合风险，但前者还会代来一个额外的好处：它比厚泽更易获得“稀疏”（sparse）解，即它求得的w会有更少的非零向量。

这里写图片描述

数据集增强

噪声鲁棒性

Dropout

神经网络

early stopping

提升方法

神经网络

Bagging和其他集成方法

《统计学习方法》 1.5.1 P14

http://charleshm.github.io/2016/03/Regularized-Regression/

《深度学习》 7

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。