正态分布与l2正则、岭回归

最新推荐文章于 2022-04-25 21:13:29 发布
最新推荐文章于 2022-04-25 21:13:29 发布
阅读量3.5k 收藏 1
点赞数 2
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010592244/article/details/89684185
版权
正态分布与l2正则、岭回归Question假设模型的参数为w，参数的先验分布是均值为0的正态分布，模型的数据集为D={x1, x2, …,xN}, 求参数的最大后验估计。解利用贝叶斯定理，不妨设w是单个标量，对于固定的σ，上面求最小化的函数中第一项是常量，第二项是l2正则，第三项是损失函数的和。很明显，我们可以很容易把这个结果推广到多维参数中。如果我们假定模型的各个参数的先验是相互独...
摘要由CSDN通过智能技术生成

正态分布与l2正则、岭回归

Question

假设模型的参数为w，参数的先验分布是均值为0的正态分布，模型的数据集为D={x1, x2, …,xN}, 求参数的最大后验估计。

解

利用贝叶斯定理，

不妨设w是单个标量，

对于固定的σ，上面求最小化的函数中第一项是常量，第二项是l2正则，第三项是损失函数的和。

很明显，我们可以很容易把这个结果推广到多维参数中。
如果我们假定模型的各个参数的先验是相互独立的同分布的正态分布，那么我们就可以得到参数的后验分布为：

上式中，我们省略了常数部分

最低0.47元/天 解锁文章
直觉与逻辑
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
岭回归（ridge regression）
GODSPEED
08-04 1万+
收缩方法通过选择自变量的一个子集产生新的线性模型，这个模型是可解释的并且可能具有比完整模型更低的预测误差，然而，由于它是一个离散过程（变量或者保留，或者丢弃），使得子集选择方法常常表现出高方差，因此不能降低整个模型的预测误差。收缩方法更加连续，并且不会因为变量多而过多的降低性能岭回归（Ridge Regression）岭回归通过对系数向量的长度平方添加处罚来收缩系数。 算法极小化如下表达式： β
L0、L1、L2范数在机器学习中的应用
好习惯成就伟大
12-23 782
正则化在机器学习中经常出现，但是我们常常知其然不知其所以然，今天Cathy将从正则化对模型的限制、正则化与贝叶斯先验的关系和结构风险最小化三个角度出发，谈谈L1、L2范数被使用作正则化项的原因。Cathy是初学者，理解有限，若有理解错误的地方还望大家批评指正。   首先我们先从数学的角度出发，看看L0、L1、L2范数的定义，然后再分别从三个方面展开介绍。 应用一：约束模型的特性 1.1 ...
【概率论】5-6:正态分布(The Normal Distributions Part III)
weixin_30569001的博客
10-05 323
title: 【概率论】5-6:正态分布(The Normal Distributions Part III) categories: - Mathematic - Probability keywords: - The Normal Distributions - The Standard Normal Distribution - The Lo...
共轭先验分布及其应用
weixin_52185313的博客
04-25 1681
共轭先验分布及其应用 – 潘登同学的数理统计笔记 文章目录共轭先验分布及其应用 -- 潘登同学的数理统计笔记共轭先验分布正态分布的共轭先验分布为正态分布其他的常用的共轭先验分布为什么要有共轭先验分布这一概念 共轭先验分布 设总体ξ\xiξ的分布函数为F(x;μ,σ)F(x;\mu,\sigma)F(x;μ,σ)，而ξ1,ξ2,…,ξn\xi_1,\xi_2,\ldots,\xi_nξ1​,ξ2​,…,ξn​为ξ\xiξ的样本。Π(μ)\Pi(\mu)Π(μ)为参数μ\muμ的先验分布。 如果Π(μ)\Pi(
机器学习笔记：岭回归（L2正则化）
qq_40206371的博客
08-29 1596
L2正则化的目的就是要让权重衰减到更小的值，在一定程度上减少过拟合的问题。 L2正则化可以使参数趋近于0，函数更加平滑 L2正则化的求解过程 半正定矩阵加上对角矩阵λI一定是可逆的，可以解决可能不可逆带来的问题。 ...
L1和L2正则化的概率解释1
08-04
另一方面，L2正则化，也称为岭回归，其目标是保持权重向量的每个元素尽可能小但不为零。在优化问题中，我们希望找到的参数向量满足L2范数的平方约束，即。L2正则化通过对所有权重进行平滑，防止了模型参数过大导致的...
linear regression_贷款模型_线性回归模型与诊断_
10-01
2. 正则化：L1（Lasso）和L2（岭回归）正则化可以减少过拟合，同时帮助选择重要特征。 3. 集成学习：结合多个线性回归模型，如随机森林或梯度提升机，以提高预测准确性和稳定性。 总结，线性回归模型在汽车贷款数据...
12. 正则化1
08-03
L2正则化对应的先验是高斯分布（正态分布），其在0处有最大概率密度，这使得权重值更分散，倾向于非零但较小的值，防止权重完全为0，有利于模型的平滑性。 3. **过拟合** 过拟合是指模型过度适应训练数据，导致在...
邹博机器学习讲义-回归
最新发布
04-01
常见的正则化方法有L2正则化（岭回归），即在最小二乘法的基础上加上参数的平方和作为惩罚项。 - **L2正则化**：通过添加\(\lambda \sum_{j=1}^{n}\theta_j^2\)到目标函数中，可以有效地控制参数的大小，防止过...
全面整理！机器学习常用的回归预测模型.pdf
03-03
**定义**：岭回归是在最小二乘法的基础上加入了 L2 正则化项，目的是为了减小模型的方差，增加模型稳定性。 **特点**：相比于普通最小二乘法，岭回归更适合处理数据间存在强相关性的场景，但不具有特征选择能力。 ...
线性回归（二） 岭回归
weixin_41611045的博客
11-30 2413
一、岭回归 这个即我们通过最小二乘法求出来的w ，但是求出来的矩阵可能存在一个问题，即X可能不是满秩矩阵（即变量之间存在着多重共线性），此时求出来的(XTX)(X^{T}X)(XTX)可能也是非满秩的，(即(XTX)(X^{T}X)(XTX)可能不可逆 )，即w可能无法求出解。或者存在多个无穷个解使得w满足最小误差。这里补充一个矩阵求逆的方法： 设同理设一组变量a,b,c,d： 求解方程组：...
岭回归、LASSO回归（包括公式推导）
昆兰.沃斯 的博客
10-03 2万+
前面的两篇文章比较清楚浅显的介绍了线性回归、多项式回归，并了解到其实多项式回归也可以看作是一种特殊的线性回归形式，也就是说回归的核心就是线性回归。其原理都是最小二乘法，这是一种很简单、很方便的算法，但也有它的局限性，所以本文讲述另外的回归方式岭回归、LASSO回归，作为一个补充，解决最小二乘法的一些缺点。 最小二乘法的局限性：                                  ...
线性回归与岭回归
Swayzzu的博客
09-18 4840
线性回归：一种能预测的趋势 线性关系，在二维中是直线关系，三维中是平面关系 线性关系定义：y = wx+b b是为了对于单个特征的情况更加通用 多个特征：w1*特征1+w2*特征2+b 线性关系模型如上所示。 数组和矩阵的区别 0维数组：5 1维：[1,2,5,5,4,8] 2为：[[1,4,5],[1,4,7]] 3维：[[[1,4,5],[1,4,7]],[[1,4,5],[1,4,7]]] 数组运算：加法，乘法 矩阵：必须是二维。 满足了特定的运算需求，矩..
线性回归与岭回归参数向量公式推导
qq_38032064的博客
05-20 1253
线性回归是一种常用的机器学习回归算法，其原理是通过输入和输出学习回归函数，确定回归参数向量w\mathbf{w}w和截距bbb。对于新的样本x\mathbf{x}x，其预测值为y^=xw+b\hat{y}=\mathbf{x}\mathbf{w}+by^​=xw+b。式中，x\mathbf{x}x是n−1n-1n−1维横向量，x=(x1,x2,...,xn−1)\mathbf{x}=(x_1,x_...
正则化与L0、L1、L2范数祥解
yu132563的专栏
10-23 5605
1、范数 范数是衡量某个向量空间（或矩阵）中的每个向量以长度或大小。范数的一般化定义：对实数p>=1， 范数定义如下： L1范数 当p=1时，是L1范数，其表示某个向量中所有元素绝对值的和。 L2范数 当p=2时，是L2范数， 表示某个向量中所有元素平方和再开根， 也就是欧几里得距离公式。 2、拉普拉斯分布 如果随机变量的概率密度函数分布为: 那么它就是拉普拉斯分布。其...
l2高斯分布_L1正则和L2正则的推导
weixin_28856331的博客
01-17 845
转载地址：综合以下两篇博客：https://www.jianshu.com/p/c9bb6f89cfcc正则化是一种回归的形式，它将系数估计(coefficient estimate)朝零的方向进行约束、调整或缩小。也就是说，正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。一、数学基础1. 范数范数是衡量某个向量空间(或矩阵)中的每个向量以长度或大小。范数的一般化定义：对实...
正态分布（高斯分布）
热门推荐
Techblog of HaoWANG
11-09 23万+
Table of Contents 正态分布 概要 历史 正态分布的定义 概率密度函数 累积分布函数 生成函数 性质 动差或矩（moment） 中心极限定理 无限可分性 稳定性 标准偏差 相关分布 参量估计 参数的极大似然估计 计量误差 参考文献 正态分布 正态分布（英语：normal distribution）又名高斯分布（英语：Gaussian dist...
正态分布的理解
小男孩tom的博客
09-18 2万+
一、概念 概念：正态分布，又称高斯分布。其特征为中间高两边低左右对称。 特性： 1）集中性：曲线的最高峰位于正中央，且位置为均数所在的位置。 2）对称性：正态分布曲线以均数所在的位置为中心左右对称且曲线两段无线趋近于横轴。 3）均匀变动性：正态分布曲线以均数所在的位置为中心均匀向左右两侧下降。 4）曲线与横轴间的面积总等于1。 正态分布函数公式如下： 公式解释：其中μ为均数，σ为标准差。μ决定了...
偏正态分布下的一元线性回归模型参数估计研究
"该资源主要探讨了在一元线性回归模型中，当误差项不遵循经典的正态分布，而是服从偏正态分布时的参数估计问题。作者通过极大似然估计、矩估计和最小二乘估计等方法进行了深入研究，并通过数值模拟比较了不同估计...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值