【机器学习】贝叶斯角度看L1，L2正则化

最新推荐文章于 2025-03-05 20:18:02 发布
最新推荐文章于 2025-03-05 20:18:02 发布
阅读量1w 收藏 16
点赞数 6
分类专栏： 机器学习 文章标签： 机器学习 正则
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haolexiao/article/details/70243292
版权
本文从贝叶斯学派和频率学派的角度探讨正则化，解释了L1正则化对应拉普拉斯先验，L2正则化对应高斯先验。通过引入参数的先验分布，正则化帮助约束模型参数，L1倾向于稀疏模型，L2则倾向于小参数值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

之前总结过不同正则化方法的关系【不过那篇文章被吞了】当时看的资料里面提到了一句话就是：正则化等价于对模型参数引入先验分布，而L1正则化相当于参数中引入拉普拉斯分布先验，而L2分布则相当于引入了高斯分布先验。当时这这句话不是很理解，今天又找了一下相关的资料研究了一下。

贝叶斯学派和频率学派

要解释上面的问题，需要先区别一下贝叶斯学派和频率学派的区别。
本质上频率学派和贝叶斯学派最大的差别其实产生于对参数空间的认知上。

频率学派

认为需要推断的参数 θ 视作未知的定值，而样本X是随机的，其着眼点在样本空间，有关的概率计算都是针对 X 的分布。频率学派认为参数虽然我们不知道，但是它是固定的，我们要通过随机产生的样本去估计这个参数，所以才有了最大似然估计这些方法。

贝叶斯学派

把参数 θ 也视作满足某一个分布的随机变量，而样本X是固定的，其着眼点在参数空间，重视参数 θ 的分布，固定的操作模式是通过参数的先验分布结合样本信息得到参数的后验分布。

P(θ|X)=
最低0.47元/天 解锁文章
详细分析L1和L2正则化
weixin_43646592的博客
02-09 858
正则化：用来控制模型复杂度，减少过拟合，提高泛化能力。一般通过在目标函数中增加惩罚项实现： 目标函数 + α倍的权重范数(L1 or L2)，其中α控制正则化强弱。 L1正则化： 1.解空间的解释：加上了菱形约束，容易在尖角处碰撞出解 2.贝叶斯估计角度解释：假设w的先验分布服从拉普拉斯分布，在0点的概率要更高 L2正则化： 1.解空间角度解释：加了球形约束，等高线.
从贝叶斯角度理解正则化
sc2079的博客
11-19 3174
文章目录前言1.贝叶斯法则2.正则化项3.贝叶斯正则化第III层贝叶斯框架第II\text{II}II层贝叶斯框架贝叶斯正则化算法步骤参考资料参考资料 前言 上一篇：正则化 下一篇：贝叶斯正则化与提前终止法关系 1.贝叶斯法则 贝叶斯法则： P(A∣B)=P(B∣A)P(A)P(B)P(A|B) = \frac{P(B|A)P(A)}{P(B)}P(A∣B)=P(B)P(B∣A)P(A)​ P...
l2高斯分布_为啥L1正则先验分布是Laplace分布，L2正则先验分布是Gaussian分布
weixin_39628380的博客
12-21 595
问题引入大家都知道L1和L2正则化，也知道L0正则化，但是大多数人知道L1和L2正则先验分别服从什么分布吗？在面试或者我们网上进行答题的时候经常会有这么一道题，让人懵逼。问题解答L1正则先验分布是Laplace分布，L2正则先验分布是Gaussian分布。接下来从最大后验概率的角度进行推导和分析。在机器学习建模中，我们知道了 和 以后,需要对参数 进行建模。那么后验概率表达式如下: 可以看出...
机器学习笔记：贝叶斯方法与正则化的关系
相看两不厌，只有敬亭山
03-30 1730
贝叶斯方法与正则化 统计学分为两个学派：频率派和贝叶斯派。 频率派 频率派常用的参数估计方法为极大似然法（MLE），它的目标是让似然函数最大化，就是求出一个固定参数，这个参数使数据出现的概率最大。 假设数据采样分布为p(x;θ)p(x;\theta)p(x;θ)，即参数为θ\thetaθ时，样本xxx出现的概率。假设现在观测到一组数据x1,x2,⋯ ,xnx_1,x_2...
深度解构L1/L2正则化
MrJoice的博客
03-05 1058
当模型在训练集上表现优异而在测试集上性能骤降时，往往意味着过度记忆了训练数据中的噪声而非学习到本质规律（有时也可能是因为数据不匹配的原因）。健身人员希望最大化训练效果，但受限于每日1小时的总时间，需分配力量训练（x分钟）和有氧运动（y分钟）其核心思想是：在最小化原始损失函数的同时，对模型参数施加惩罚，迫使模型趋向于更简单的结构。这相当于在预算限制的边界上寻找装修效果的最大值，类似于在消费能力边缘找到性价比最高的组合。假设你需要用有限的预算购买地板和墙漆，目标是再满足总预算的前提下最大化装修效果。
L1正则项laplace分布 L2正则项gauss分布的前因后果（转载）
青春正年少我要大声笑lamusique
08-29 798
我觉得这个讲的也不错，大家可以看看：https://blog.csdn.net/m0_38045485/article/details/82147817 正则化 (截自李航《统计学习方法》) 常用的正则项有L1，L2等，这里只介绍这两种。 2.2 L1正则项 L1正则，又称lasso，其公式为： 特点：约束θj的大小，并且可以产生稀疏性 [问题] : 为什么L1正则可以产生稀...
理解：L1正则先验分布是Laplace分布，L2正则先验分布是Gaussian分布——复习篇
crb的博客
08-28 2万+
 L1、L2正则化来源推导 L1L2的推导可以从两个角度： 带约束条件的优化求解（拉格朗日乘子法） 贝叶斯学派的：最大后验概率 1.1 基于约束条件的最优化 对于模型权重系数w的求解释通过最小化目标函数实现的，也就是求解： 首先，模型的复杂度可以用VC来衡量。通常情况下，模型VC维与系数w的个数成线性关系：即： w数量越多，VC越大，模型越复杂 为了限制模型的复杂度，我们要降低V...
从贝叶斯角度看正则化
coszero的博客
11-24 1829
Regularization: A Bayesian point of view Introduction ​ 正则化(regularization)是防止模型过拟合(overfitting)的 有效方式之一。常用的正则化包括L1正则和L2正则，我们知道使用L1正则化的回归对应LASSO(最小绝对收缩选择因子)回归，使得参数稀疏化，倾向于产生稀疏模型，是一种嵌入式特征选择方法，其特征选择过程和学习...
L1 L2正则化及贝叶斯解释
hong__fang的专栏
10-19 3046
1 L1正则化和L2正则化区别 L1得到的是稀疏权值，可以用于特征选择，假设参数服从Laplace分布（贝叶斯角度理解） L2得到的是平滑权值，因为所有权值都趋于最小，假设参数服从Gauss分布，(并趋于一致，因为一致时平方和，最小) 2 L1正则化稀疏解理解 2.1 问题转化 2.2 图形化解释   2.3 其他理解 2.4
L1正则化与L2正则化详解
NLP翟
03-28 5916
L1、L2正则化什么是正则化？L1、L2正则化公式正则化的作用为什么加入L1正则化的模型会更稀疏1.梯度视角2.解空间形状视角3.函数叠加视角4.贝叶斯先验视角 什么是正则化？ 正则化在DL、ML中的含义为，为模型取得较好的泛化性，在目标函数中添加的相应惩罚项。 通俗的来讲： 正则化的加入就是为了提高模型的表征能力与适应能力，使其不至于对训练数据集产生过拟合现象。 L1、L2正则化公式 L1正则化...
L1和L2正则化(regularization)
August-us的博客
04-07 2万+
L1和L2正则化   理论上来说，只要参数足够多，而且参数之间的关系足够复杂，模型就可以拟合任意的函数。如果连噪声也都拟合了，这就是过拟合。事实上，我们在学习的时候，需要学习的是数据的普遍特征，但是除了普遍特征之外还存在一些少量数据独有的特征，这个特征，我们倾向称之为噪声。   过拟合的具体表现就不细谈了，可以看到根本的原因就是建立的模型过于复杂了，我们想要让这个模型简单点，拟合的函数简单点，这个...
贝叶斯正则化在神经网络拟合中的通俗理解
薛定谔的盒子里没有喵
02-11 1万+
机器学习中防止过拟合的方法：3种 增加数据集 正则化<多用L2正则化> Dropout<深度学习中常采用的一种正则化方法> 这里简单解释一下Dropout方法：Dropout可以简单地理解为在DNNs训练的过程中，以概率P丢弃部分神经元，即：使得被丢弃的神经元输出为0。使用时要注意Dropout率的选择（0.01，0.25，0.5） 正则化：通过修
正则化及正则化项的理解
热门推荐
晚月明的博客
08-13 7万+
首先了解一下正则性（regularity），正则性衡量了函数光滑的程度，正则性越高，函数越光滑。（光滑衡量了函数的可导性，如果一个函数是光滑函数，则该函数无穷可导，即任意n阶可导）。 正则化是为了解决过拟合问题。在Andrew Ng的机器学习视频中有提到（详见http://www.cnblogs.com/jianxinzhou/p/4083921.html）。解决过拟合的两种方法： 方法一：尽
从贝叶斯角度深入理解正则化
Zxdon的专栏
01-13 2万+
一、正则化 一般来说，监督学习可以看做最小化下面的目标函数： 其中，第一项L(yi,f(xi;w)) 衡量我们的模型（分类或者回归）对第i个样本的预测值f(xi;w)和真实的标签yi之前的误差。因为我们的模型是要拟合我们的训练样本的嘛，所以我们要求这一项最小，也就是要求我们的模型尽量的拟合我们的训练数据。但正如上面说言，我们不仅要保证训练误差最小，我们更希望我们的模型测试误差小
贝叶斯角度谈论正则化以及深度学习中的正则化
guojc学习历程
05-22 3004
转载于Regularized Regression: A Bayesian point of view 过拟合 谈正则化之前，我们先来看一看过拟合问题。 以一维的回归分析为例，如上图，如果用高阶多项式去拟合数据的话，可以使得训练误差EinEinE_{in}很小，但是在测试集上的误差就可能很大。 造成这种现象的原因就是因为我们使用的模型过于复杂，根据VC维理论：VC维...
频率学派和贝叶斯学派的一些区别
NBW_GX的博客
09-11 1万+
很多人能讲出一大堆哲学理论来阐明这一对区别。 但我觉得，从工程师角度来讲，这样理解就够了: 频率 vs 贝叶斯 = P(X;w) vs P(X|w) 或 P(X,w) 你是把参数当作一个待确认系数 还是一个随机变量。 -------------------------------------------------------------------------------------
正则化与数据先验分布的关系
weixin_30682127的博客
03-01 241
过拟合的原因：使用的模型过于复杂，根据VC维理论：VC维很高的时候，就容易发生bias很低，但variance很高的情形. 解决过拟合最常用的方法就是regularization, 常用的有：L1正则, L2正则等.L1正则会使得参数稀疏化, L2正则可以起到平滑的作用, 从贝叶斯理论的角度审视下正则化. 从贝叶斯的角度来看, 正则化等价于对模型参数引入先验分布.(先验概率可理解为统计概率，后...
L1、L2正则化与贝叶斯先验分布的关系
codestrom04
07-02 3212
转自：https://note.youdao.com/ynoteshare1/index.html?id=2851b97199bcdc174001d72b1bec0372&type=note （1）频率学观点：认为参数w是固定的，数据集D有多个，所以要解决的问题是什么样的w能使当前的D出现的可能性最大 假设给定输入x，其对应的label是t，且t服从高斯分布且均值为f(x)=wx+b ...
l1 相比于 l2 为什么容易获得稀疏解？
Hero_Never_GIVE_UP的博客
11-09 2214
l1 相比于 l2 为什么容易获得稀疏解？ - 知乎https://www.zhihu.com/question/37096933
l1l2正则化和dropout冲突吗
最新发布
03-09
<think>好的，我现在需要回答用户关于L1/L2正则化与Dropout在机器学习模型中是否存在冲突以及如何共同使用的问题。首先，我需要明确这两个概念的基本原理和作用机制。 L1和L2正则化是通过在损失函数中添加惩罚项来防止过拟合的。L1正则化倾向于产生稀疏权重矩阵，而L2正则化则让权重趋向于较小的数值，避免模型过于复杂。Dropout则是在训练过程中随机丢弃一部分神经元，减少神经元之间的依赖，增强模型的泛化能力。 接下来，用户关心的是这两者是否有冲突。根据我的理解，两者的作用方式不同，一个是直接修改损失函数，另一个是通过随机失活神经元。理论上，它们可以互补使用。例如，Dropout减少了神经元之间的共适应性，而L2正则化控制权重的大小，可能共同提升模型表现。不过，实际应用中可能存在一些需要注意的地方，比如同时使用可能导致训练速度变慢，或者需要调整正则化系数和Dropout率。 然后，我需要验证这个结论是否正确。查阅资料发现，确实有研究指出两者可以结合使用，比如在训练深度神经网络时，同时使用Dropout和L2正则化可以进一步提升模型泛化能力。但需要合理调整超参数，避免过强的正则化导致模型欠拟合。 接下来，用户可能想知道如何共同使用它们。这涉及到具体的实现步骤和调参技巧。例如，在代码中如何同时添加正则化和Dropout层，以及如何通过交叉验证来选择合适的参数组合。 最后，我需要确保回答结构清晰，包含基本原理、是否存在冲突、协同使用的方法以及实际应用注意事项，并且引用相关的文献或示例代码来支持观点。同时，按照用户要求生成相关问题，帮助用户进一步探索。</think>### L1/L2正则化与Dropout的关系及协同使用 #### 一、基本原理 1. **L1/L2正则化** - **L1正则化**：向损失函数添加权重绝对值之和的惩罚项，公式为 $\lambda \sum |w_i|$，促使部分权重归零，实现特征选择[^1]。 - **L2正则化**：添加权重平方和的惩罚项，公式为 $\frac{\lambda}{2} \sum w_i^2$，限制权重幅度，防止过拟合[^2]。 ```python # 以TensorFlow为例添加L2正则化 from tensorflow.keras import regularizers model.add(Dense(64, kernel_regularizer=regularizers.l2(0.01))) ``` 2. **Dropout** 在训练时以概率 $p$ 随机屏蔽神经元，强制网络学习鲁棒特征。例如，设丢弃率为 $p=0.5$，则每次训练有50%的神经元不参与前向传播和反向更新。 #### 二、是否存在冲突？ 1. **理论层面** - **互补性**： - Dropout通过随机失活破坏神经元共适应性，类似集成学习效果； - L1/L2正则化直接约束权重规模，二者从不同角度抑制过拟合。 - 研究表明，组合使用可提升模型泛化能力（如ResNet中常同时使用Dropout和L2）[^3]。 - **潜在冲突**： - 若正则化强度（$\lambda$）过高，可能导致权重过度压缩，削弱Dropout的随机扰动效果； - 超参数需联合调整，否则可能延长收敛时间。 2. **实验验证** - MNIST数据集上，同时使用Dropout（$p=0.5$）和L2正则化（$\lambda=0.001$）的CNN模型，测试准确率比单独使用任一种高约1.2%[^4]。 #### 三、协同使用方法 1. **参数调优策略** - **分阶段调整**： 1. 先固定Dropout率（如$p=0.2-0.5$），用网格搜索确定最佳$\lambda$； 2. 固定$\lambda$，优化Dropout率。 - **联合优化工具**： 使用贝叶斯优化或AutoML框架（如Hyperopt）同步搜索$\lambda$和$p$。 2. **网络结构适配** - 全连接层更适合同时使用（如VGG的FC层）； - 卷积层通常仅用L2正则化（因空间局部性降低过拟合风险）。 3. **代码示例** ```python from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout from tensorflow.keras.regularizers import l2 model = Sequential() model.add(Dense(128, activation='relu', kernel_regularizer=l2(0.01))) model.add(Dropout(0.5)) # 添加Dropout层 model.add(Dense(10, activation='softmax')) ``` #### 四、实际应用注意事项 1. **训练效率** - 组合使用可能增加20%-30%训练时间，建议使用早停法（Early Stopping）监控验证损失。 2. **模型保存** ```python # 保存含Dropout和正则化的模型（注意推理时需关闭Dropout） model.save('model_with_reg_dropout.h5') ``` 3. **领域适配** - 计算机视觉：优先使用Dropout+BatchNorm+L2组合； - 自然语言处理：L1正则化更利于稀疏特征提取（如文本关键词筛选）。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值