[机器学习] 第一章 绪论 2.L0、L1、L2 范数正则化

最新推荐文章于 2025-01-01 15:45:28 发布
最新推荐文章于 2025-01-01 15:45:28 发布
阅读量154 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/120207978
版权
本文详细介绍了机器学习中的L0、L1、L2范数正则化，重点讨论了L0范数限制参数个数，L1范数实现参数稀疏性，以及L2范数的权重衰减作用。通过Lasso Regression和Ridge Regression的对比，解释了L1正则化如何产生稀疏性，并探讨了正则化的几何解释。
摘要由CSDN通过智能技术生成

参考：深度学习正则化-参数范数惩罚（L1,L2范数）_wangheng673的博客-CSDN博客 

参考：贝叶斯角度看 L1 & L2 正则化 | Wei's Blog

目录

一、L0范数正则化（惩罚）：非0的参数个数控制在c以内

1.1   L0范数

二、L1范数正则化：参数绝对值和控制在c内（参数稀疏性惩罚）

2.1 L1范数

2.2 🍇 Lasso Regression (Lasso回归)

2.3 几何解释

三、L2范数正则化：参数平方和

3.1 L2范数

3.2 🍇 Ridge Regression (岭回归) 

3.3 几何解释 

为什么L1会产生稀疏性？

总览

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度学习之正则化系列（1）：深入理解参数范数惩罚(L1正则化、L2正则化)原理及tensorflow实现
深度强化学习(DeepRL)探索博客
05-23 1万+
1、背景简介 说起正则化，那为什么我们训练的模型或者是神经网络需要正则化呢？ 它的主要作用在于： 提高泛化能力，防止过拟合 举个例子：上学期间广义分为三种人（仅仅说学习成绩）： 学渣：根本就没学懂，书中的题目不会，考试卷也不会（欠拟合） 书呆子：就会课本上的，所有题目都会做，但是考试就是成绩低（过拟合） 学霸： 书中的会，考试照样考100，是不是可怕？ 懂了吧，机器学习和人一...
深度学习正则化-参数范数惩罚（L1,L2范数）
wangheng673的博客
11-24 1万+
L0范数惩罚 机器学习中最常用的正则化措施是限制模型的能力，其中最著名的方法就是L1和L2范数惩罚。         假如我们需要拟合一批二次函数分布的数据，但我们并不知道数据的分布规律，我们可能会先使用一次函数去拟合，再使用二次函数、三次、四次、等等次数的函数去拟合，从中选择拟合效果最好的一个函数来作为我们最终的模型。         上面的方法未免显得有些太繁琐，如果有一批数据输入指数为...
正则化——参数范数惩罚
qq_42757191的博客
05-18 3237
L1和L2正则化
L1惩罚项和L2惩罚项
zlrai5895的博客
12-10 1万+
            x即为参数。 L2正则化参数 从公式5可以看到，λλ越大，θjθj衰减得越快。另一个理解可以参考图2，λλ越大，L2圆的半径越小，最后求得代价函数最值时各参数也会变得很小。...
惩罚项介绍加L1L2正则介绍
qq_29837229的博客
04-01 616
机器学习中，损失函数后接的补充项就是惩罚项。训练中希望得到简洁，泛化能力强的模型。随着训练使用的数据越多，特征维度也多，模型泛化能力会变差，也就是过拟合，为了掌握一种平衡增加惩罚项。
机器学习与统计学习方法——第一章：绪论
最新发布
zimohuake的博客
01-01 845
参考教材：《机器学习》周志华《统计学习方法》李航一、绪论。
机器学习基础笔记
killsime的博客
05-28 1307
经典定义利用经验改善系统自身的性能训练数据模型 学习算法 分类决策树，神经网络，支持向量机，boosting，贝叶斯网测试数据输出即集成使用多个模型来解决问题如果多个模型都是相同的，就成为同质集成，如神经网络集成，因为只需要一个模型，会比较简单如果多个模型不同，就成为异质集成，由于不同模型产生的结果不能直接比较，就像同一门课，对同一个人的问卷，不同老师可能打的分差别很大一样，在处理结果时，要进行配准，这一步很困难集成学习有可能出现下面三种情况。
机器学习西瓜书期末复习(2022HENU)
热门推荐
qq_46561559的博客
12-28 1万+
期末复习之机器学习 文章目录期末复习之机器学习第一章 绪论 第一章 绪论 机器学习的定义 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。 根据训练数据是否拥有标记信息，将学习任务分为监督学习和无监督学习。 监督学习 ：分类和回归 线性回归、对数几率回归、决策树、支持向量机、贝叶斯分类器、神经网络 无监督学习：聚类 聚类算法： 原型聚类：（k均值，学习向量量化，高斯混合聚类）；密度聚类（DBSVAN）;层次聚类（AGNES）。降维。话题分析。图分
机器学习主要知识点整理
weixin_37779325的博客
07-09 4817
目录第一章 绪论第二章 模型评估与选择1.评估方法2.评估指标3.泛化误差期望 = 偏差+方差+噪声4.归一化5.正则化Q：L1比L2更稀疏（1）梯度值（2）先验概率（3）等高线图形方法（4）函数叠加方法Q：为什么权重变小可以缓解过拟合6.过拟合与欠拟合（1）降低过拟合：（2）降低欠拟合：第三章 线性模型1.线性模型的优点2.一元线性回归3.多元线性回归4.对数几率回归（LR）（1） 二分类，广义线性模型，用Sigmoid（2）优点（3）缺点（4）对数损失函数==极大似然函数取对数（5）极大似然法求解w和b
深度学习笔记（2）:参数范数惩罚L1和L2
gaocui883的博客
04-26 670
自定义正则L1,L2类 # -*- coding: utf-8 -*- # author: # time : 2021/4/28 13:04 # task: 自定义的正则类。 """ 导入包""" from abc import ABC, abstractmethod import numpy as np from PIL import Image from matplotlib import pyplot as plt import math import sys import ...
深度学习 --- 优化入门六（正则化、参数范数惩罚L0、L1、L2、Dropout）
进击的菜鸟
12-04 9678
      前面几节分别从不同的角度对梯度的优化进行梳理，本节将进行正则化的梳理，所谓正则化，简单来说就是惩罚函数，在机器学习中的SVM中引入拉格朗日乘子法即引入惩罚项解决了约束问题，在稀疏自编码器中我们引入了惩罚因子去自动调整隐层的神经元的个数，以此达到压缩率和失真度的平衡，其实这些都是使用正则思想进行实现的，因此掌握正则化很重要，本节就系统的讲解正则化和数据扩充以及Dropout其实有些知识在...
深度学习中的正则化(一)、参数范数惩罚
weixin_36670529的博客
09-20 3741
一、正则化 没有免费午餐定理暗示我们必须在特定任务上设计性能良好的机器学习算法。我们建立一组学习算法的偏好来达到这个要求。当这些偏好和我们希望算法解决的学习问题吻合时，性能会更好。至此我们具体讨论修改学习算法的方法，只有通过增加或减少学习算法可选假设空间的函数来增加或减少模型的容量。所列举的一个具体示例是线性回归增加或减少多项式的次数。到目前为止讨论的观点都是过度简化的。 算法的效果不仅很大程...
深度学习中的正则化技术 - 参数范数惩罚篇
绎岚科技的博客
07-08 1209
深度学习作为人工智能领域的重要分支，其模型复杂度和学习能力日益增强，但也面临着过拟合的风险。为了提升模型的泛化能力，即模型在未见过的数据上的表现，正则化技术被广泛应用于深度学习中。其中，参数范数惩罚是一种简单而有效的正则化方法，它通过在目标函数中添加一个与参数规模相关的惩罚项，来限制模型的复杂度和学习能力。这种方法不仅适用于线性模型，如线性回归和逻辑回归，也广泛应用于神经网络等复杂模型中。
深入理解深度学习——正则化（Regularization）：参数范数惩罚
冯·诺依曼
05-14 1万+
正则化在深度学习的出现前就已经被使用了数十年。线性模型，如线性回归和逻辑回归可以使用简单、直接、有效的正则化策略。许多正则化方法通过对目标函数J添加一个参数范数惩罚Ωθ限制模型的学习能力。Jθ;XyJθ;XyαΩθ其中α∈0∞是权衡范数惩罚项Ω和标准目标函数Jθ;Xy相对贡献的超参数。将α设为0表示没有正则化。α越大，对应正则化惩罚越大。当我们的训练算法最小化正则化后的目标函数J时，它会降低原始目标J。
机器学习中L1 L2正则化项(范式，惩罚项)
ac540101928的专栏
01-28 1万+
1. 什么是L1 L2？ 正则化项，范式，惩罚项是不同学科范畴的学者的不同叫法，具体如下： 在机器学习称作正则化； 统计学领域称作惩罚项； 数学界会称作范数。 L1范数：L1范数就是曼哈顿距离，向量中每个元素绝对值的和 L2范数：L2就是欧式距离，向量元素绝对值的平方和再开平方 2. 在机器学习中L1 L2起到的作用是？ 有如下比较普遍的解释： L1正则化：可以产生稀疏权值...
权重衰减
程永强
06-14 1869
权重衰减 上一节中我们观察了过拟合现象，即模型的训练误差远小于它在测试集上的误差。虽然增大训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价高昂。本节介绍应对过拟合问题的常用方法：权重衰减（weight decay）。 方法 权重衰减等价于L2L_2L2​范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。我们先描述...
使用L1范数惩罚进行Lasso回归（正则化）解决机器学习线性回归模型幻觉和过拟合的原理
老猿Python
04-05 1928
L1正则化通过给线性模型增加一个与权重参数的L1范数作为惩罚，并使得目标函数变为原线性模型加上λ倍惩罚，通过调节λ的值影响模型权重参数的值，最终压缩部分权重参数的值为0来减少部分特征（自变量）对模型的影响。
标注数据较少时【长文本分类任务】的半监督学习Python算法
ArYe
09-19 1326
具有小量准确标注数据 #mermaid-svg-O0JlRfpc08ZZQ7aH .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-O0JlRfpc08ZZQ7aH .label text{fill:#333}#mermaid-svg-O0JlRfpc08ZZQ7aH .node rect,#mermaid-svg
深度学习中为什么仅对权重参数进行惩罚？
DU_YULIN的博客
07-26 983
文章目录前言为什么仅对权重参数做正则惩罚？总结参考 前言 今天看花书中关于参数范数惩罚的内容，了解到为什么仅对权重做正则化惩罚，觉得很有意义，所以这里记录下。 为什么仅对权重参数做正则惩罚？ 神经网络中的参数包括两类，即权重参数和偏置参数。权重参数代表了两个变量间的关系，因此要通过多番考量才能给出准确的权重值。偏置参数仅与一个变量有关，因此不进行正则惩罚也不会造成大的方差，而且花书中提到，对偏置参数进行正则惩罚，容易造成欠拟合（这点不太理解，是因为仅与一个变量有关，所以调整后没法很好的拟合吗？） 总结
机器学习笔记：范数正则化与L0、L1、L2在模型复杂度控制中的应用
本文主要探讨了机器学习中的正则化技术，特别是L0、L1和L2范数在回归模型中的应用，如岭回归和Lasso回归，以解决过拟合问题并实现特征选择。 在监督学习中，正则化是一种重要的技术，其目的是在最小化预测误差的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值