使用L1范数惩罚进行Lasso回归（正则化）解决机器学习线性回归模型幻觉和过拟合的原理

已于 2024-10-06 20:19:38 修改
阅读量1.9k 收藏 25
点赞数 18
分类专栏： 机器学习疑难问题集 文章标签： 人工智能 回归 机器学习 L1正则化 模型幻觉
于 2024-04-05 21:26:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LaoYuanPython/article/details/137351559
版权
本文详细阐述了L1正则化在机器学习中的原理，包括范数概念、L1正则化如何通过权重压缩防止过拟合，以及它如何通过惩罚机制选择重要特征。通过实例展示了L1正则化如何解决线性回归模型的过拟合问题和模型幻觉现象。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、引言

在老猿CSDN的博文《人工智能基础概念3：模型陷阱、过拟合、模型幻觉》中介绍了通过L1或L2正则化来限制模型的复杂度来解决过拟合的问题，老猿当时并不了解这背后的原理，这2天通过查阅资料终于明白了相关知识，在此一L1正则化来分享一下相关原理。
在这里插入图片描述

二、相关概念

2.1、范数

范数是数学中的一个概念，用于衡量向量的“大小”或者说是长度。在线性代数和相关的数学领域中，范数是定义在向量空间上的一个函数，它将每一个向量映射到非负实数，满足一定的性质，使得这个函数可以被视为该向量空间中的“长度”或“大小”。

范数的常见性质包括&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度学习之正则化系列（1）：深入理解参数范数惩罚(L1正则化、L2正则化)原理及tensorflow实现
深度强化学习(DeepRL)探索博客
05-23 1万+
1、背景简介 说起正则化，那为什么我们训练的模型或者是神经网络需要正则化呢？ 它的主要作用在于： 提高泛化能力，防止过拟合 举个例子：上学期间广义分为三种人（仅仅说学习成绩）： 学渣：根本就没学懂，书中的题目不会，考试卷也不会（欠拟合） 书呆子：就会课本上的，所有题目都会做，但是考试就是成绩低（过拟合） 学霸： 书中的会，考试照样考100，是不是可怕？ 懂了吧，机器学习和人一...
机器学习中L1 L2正则化项(范式，惩罚项)
ac540101928的专栏
01-28 1万+
1. 什么是L1 L2？ 正则化项，范式，惩罚项是不同学科范畴的学者的不同叫法，具体如下： 在机器学习称作正则化； 统计学领域称作惩罚项； 数学界会称作范数。 L1范数：L1范数就是曼哈顿距离，向量中每个元素绝对值的和 L2范数：L2就是欧式距离，向量元素绝对值的平方和再开平方 2. 在机器学习中L1 L2起到的作用是？ 有如下比较普遍的解释： L1正则化：可以产生稀疏权值...
深度学习笔记（2）:参数范数惩罚L1和L2
gaocui883的博客
04-26 686
自定义正则L1,L2类 # -*- coding: utf-8 -*- # author: # time : 2021/4/28 13:04 # task: 自定义的正则类。 """ 导入包""" from abc import ABC, abstractmethod import numpy as np from PIL import Image from matplotlib import pyplot as plt import math import sys import ...
惩罚线性回归模型
weixin_45780075的博客
03-29 844
接着对特征进行标准化，以确保它们具有相同的尺度。是一种常见的线性回归的变体，它在原始的线性回归模型中引入了一种惩罚项，以防止模型过拟合数据。在惩罚线性回归中，除了最小化预测值与实际值之间的平方误差（或其他损失函数）外，还会考虑模型参数的大小。可以根据自己的数据集和需求调整参数，例如调整alpha的值以控制惩罚项的强度，或者尝试其他类型的惩罚线性回归模型，如Lasso回归或弹性网络回归。总的来说，惩罚线性回归模型通过引入惩罚项来平衡模型的复杂度和对训练数据的拟合程度，从而提高模型的泛化能力，并且在处理。
深度学习正则化-参数范数惩罚（L1,L2范数）
wangheng673的博客
11-24 1万+
L0范数惩罚 机器学习中最常用的正则化措施是限制模型的能力，其中最著名的方法就是L1和L2范数惩罚。         假如我们需要拟合一批二次函数分布的数据，但我们并不知道数据的分布规律，我们可能会先使用一次函数去拟合，再使用二次函数、三次、四次、等等次数的函数去拟合，从中选择拟合效果最好的一个函数来作为我们最终的模型。         上面的方法未免显得有些太繁琐，如果有一批数据输入指数为...
参数的范数正则/惩罚（parameter norm penalties）
01-02 4660
1. L2 范数
机器学习03——线性回归过拟合正则化 L1L2正则 岭回归 Lasso回归 弹性网络
逗创科技——逗创创的博客
04-02 1537
最小二乘回归中，目标函数只考虑了模型对训练样本的拟合程度： 原则上任意复杂的模型能完全拟合训练数据。我们称之为过拟合。 • 过拟合（ overfitting ）：过于复杂的模型与训练数据拟合得太好，但和测试数据拟合得不好。 • 欠拟合（underfitting）：过于简单的模型与训练数据拟合得欠佳（和测试数据自然也拟合得不好） 注意：线性回归中采用线性模型。而线性模型是很简单的模型，所以当特征维数...
l1_ls.rar_L1正则化问题_l1 范数_二范数_最小化 范数_正则化范数
07-14
在机器学习和优化领域，L1正则化（L1 regularization）是一种常用的技术，用于防止模型过拟合。本文将详细探讨L1正则化问题，L1范数，二范数，以及它们在最小化问题中的应用。 首先，我们来理解L1范数（L1 Norm）。...
机器学习中正则化项L1和L2的直观理解
热门推荐
小平子的专栏
03-02 42万+
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做...
机器学习基础——线性回归、过拟合和欠拟合、岭回归和Lasso回归
qq_47250064的博客
08-17 2561
介绍了非监督学习里面的回归算法的定义，并用波士顿房价的例子进行线性回归，将两种解法（梯度下降法和正规方程法）进行对比，运用均方误差和进行模型评估。还介绍了过拟合和欠拟合以及他们的解决办法（岭回归和Lasso回归）。.........
深度学习 --- 优化入门六（正则化、参数范数惩罚L0、L1、L2、Dropout）
进击的菜鸟
12-04 9764
      前面几节分别从不同的角度对梯度的优化进行梳理，本节将进行正则化的梳理，所谓正则化，简单来说就是惩罚函数，在机器学习中的SVM中引入拉格朗日乘子法即引入惩罚项解决了约束问题，在稀疏自编码器中我们引入了惩罚因子去自动调整隐层的神经元的个数，以此达到压缩率和失真度的平衡，其实这些都是使用正则思想进行实现的，因此掌握正则化很重要，本节就系统的讲解正则化和数据扩充以及Dropout其实有些知识在...
机器学习：L1 约束
m0_57790267的博客
11-10 421
它在回归问题中用于特征选择，有助于识别对目标变量有重要影响的特征，同时将不相关的特征的权重收缩为零。L1正则化的效果是使一些权重趋向于零，从而使模型更加稀疏，即某些特征对模型的预测贡献较小，这有助于特征选择和减小模型的复杂度。L1约束（L1 constraint）通常是指在机器学习和优化领域中，对模型的权重（参数）添加L1正则化项，L1正则化项也称为L1惩罚（L1 penalty）或L1范数（L1-norm），它的形式通常为。其中，λ是正则化参数，用于控制正则化的。以控制模型的复杂度和减小过拟合的风险。
L1惩罚项和L2惩罚项
zlrai5895的博客
12-10 1万+
            x即为参数。 L2正则化参数 从公式5可以看到，λλ越大，θjθj衰减得越快。另一个理解可以参考图2，λλ越大，L2圆的半径越小，最后求得代价函数最值时各参数也会变得很小。...
Python实现L1正则化线性回归分析模型(Lasso算法)项目实战
张陈亚的博客
03-14 1916
Python实现L1正则化线性回归分析模型(Lasso算法)项目实战
非负矩阵分解中基于L1和L2范式的稀疏性约束
Keep Thinking And Learning
09-21 4221
L1 norm使得求得的解更趋近于0，即产生更多的0解，确保稀疏性,L2 norm防止over-fitting
惩罚项介绍加L1L2正则介绍
最新发布
qq_29837229的博客
04-01 638
机器学习中，损失函数后接的补充项就是惩罚项。训练中希望得到简洁，泛化能力强的模型。随着训练使用的数据越多，特征维度也多，模型泛化能力会变差，也就是过拟合，为了掌握一种平衡增加惩罚项。
一、线性模型----Lasso、Ridge回归及正则化的初步理解
袁叔叔的博客空间
12-15 2302
一些基本概念 正则性： 正则性一般用来刻画函数的光滑程度，正则性越高，函数的光滑性越好。通常用Lipschitz指数k来表征函数的正则性。Lipschitz指数刻画了函数f与局部多项式的逼近程度，而函数与局部多项式的逼近程度又与函数的可微性相联系。 向量范数： 距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化的距离概念，它在定义上比距离多了一条数乘...
【深度学习】正则化：L1正则化、L2正则化、Batch Normal与Dropout
阳一子的博客
11-14 5433
目录 正则化 0 正则化介绍 0.0 什么是正则化？ 0.1 正则化解决什么问题？ 0.2 正则化常用手段 L1、L2正则化 1.0 范数定义 正则化 0 正则化介绍 0.0 什么是正则化？ 《Deep Learning》书中定义正则化为“对学习算法的修改——旨在减少泛化误差而不是训练误差” ​ 模型可以看成是一个高维函数，对于不同的模型参数，能得到千千万万个不同的模型，我们将这所有的可能得到的模型称之为假设空间。我们只需要通过训练将生成真实数据的一组模型参数找出来即可。从已有的假设空
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LaoYuanPython

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值