范数.正则化.过拟合.多项式线性代数代码表示.训练集和验证集的关系

最新推荐文章于 2022-05-02 20:01:11 发布
最新推荐文章于 2022-05-02 20:01:11 发布
阅读量416 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guoyafeng11/article/details/102947254
版权
本文介绍了L1和L2范数在正则化中的作用，L1范数可能导致稀疏解，而L2范数导致稠密解，有助于防止过拟合。过拟合和欠拟合是模型泛化能力下降的原因，欠拟合是因为模型复杂度过低，而过拟合是模型学习了训练集的噪声。
摘要由CSDN通过智能技术生成

阅读目录
LP范数
L1范数
L2范数
L1范数和L2范数的区别过拟合和欠拟合训练集和验证集的关系在总结正则化（Regularization）之前，我们先谈一谈正则化是什么，为什么要正则化。LP范数范数简单可以理解为用来表征向量空间中的距离，而距离的定义很抽象，只要满足非负、自反、三角不等式就可以称之为距离。LP范数不是一个范数，而是一组范数，其定义如下：pp的范围是[1,∞)[1,∞)。pp在(0,1)(0,1)范围内定义的并不是范数，因为违反了三角不等式。根据pp的变化，范数也有着不同的变化，借用一个经典的有关P范数的变化图如下： 上图表示了pp从0到正无穷变化时，单位球（unit ball）的变化情况。在P范数下定义的单位球都是凸集，但是当0<p<10<p<1时，在该定义下的unit ball并不是凸集（这个我们之前提到，当0<p<10<p<1时并不是范数）。那问题来了，L0范数是啥玩意？L0范数表示向量中非零元素的个数，用公式表示如下：我们可以通过最小化L0范数，来寻找最少最优的稀疏特征项。但不幸的是，L0范数的最优化问题是一个NP hard问题（L0范数同样是非凸的）。因此，在实际应用中我们经常对L0进行凸松弛，理论上有证明，L1范数是L0范数的最优凸近似，因此通常使用L1范数来代替直接优化L0范数。L1范数
根据LP范数的定义我们可以很轻松的得到L1范数的数学形式：通过上式可以看到，L1范数就是向量各元素的绝对值之和，也被称为是"稀疏规则算子"（Lasso regularization）

最低0.47元/天 解锁文章
guoyafeng11
关注
李航.统计学习方法笔记+Python实现(1)例1.1 最小二乘法实现多项式函数拟合问题和正则化
肖泽的博客
12-11 1425
&amp;amp;amp;nbsp; &amp;amp;amp;nbsp; &amp;amp;amp;nbsp; &amp;amp;amp;nbsp;写在前面：写这个学习笔记原因有三点，一是最近在系统的学习大佬李航的《统计学习方法》，做笔记以巩固自己的学习；二、网上有很多类似的学习笔记，有的写不全，半途而废。有的则写的太过繁杂。我尽力将这本书的学习笔记写完，也希望它是满满的纯干货。三是跟我另一套学习笔记【吴恩达机器学习课程笔记+代码实现】一样，算法理论只是工具，跟重要的是如何
机器学习和深度学习中，L2正则化为什么能防止过拟合？
ysh1026的博客
11-28 1226
正则化是为了降低模型的复杂度，模型过于复杂，则过拟合； 与傅里叶变换类似，高频的部分表示细节，尽量减少高频部分的影响； 傅里叶级数也是，高阶表示细节； 当阶数较高时，在不降低拟合结果的前提下，降低高阶项的系数； 高阶部分的系数会很小，但不一定是0，所以用0-范数不合适，用1-范数或2-范数。 参考：https://www.zhihu.com/question/389848505/answer/1179908586 ...
范数和正则化
xu.hyj
09-11 697
1. 范数 在深度学习中常见L1L_1L1​范数、L2L_2L2​范数，那么关于范数的数学形式定义： 几种常见的范数： L1L_1L1​范数，即p=1p=1p=1时，此时 ∣∣x∣∣=Σ∣xi∣||x||=Σ|x_i|∣∣x∣∣=Σ∣xi​∣，直观上就是xxx的绝对值和 L2L_2L2​范数，即p=2p=2p=2时，此时∣∣x∣∣=(Σ∣xi∣2)1/2||x||=(Σ|x_i|^2)^{1/2}∣∣x∣∣=(Σ∣xi​∣2)1/2，也称欧几里得范数，直观上就是xxx的平方和的开方，几何意义为从原点出发
【PyTorch】正则化：L1范数，L2范数，Dropout
Pam的博客
05-31 3841
正则化
[机器学习必知必会]正则化和范数
TOMACAT的博客
03-04 1万+
写在前头 本文格式略微有些乱码，为不妨碍阅读，可以查看我在头条上写的原文： https://www.toutiao.com/i6650364324176986637/ 正则化综述 机器学习中经常会在损失函数中加入正则项，称之为正则化（Regularize）。 目的：防止模型过拟合 原理：在损失函数上加上某些规则（限制），缩小解空间，从而减少求出过拟合解的可能性 例子：以最简单的线...
凸优化理论基础3——凸集和凸锥重要例子
秃头小苏的博客
05-02 2771
凸优化理论基础3——超平面和半空间 ​ 之前我们已经介绍了仿射集、凸集、凸锥等概念，这节将来介绍超平面和半空间。🌵🌵🌵 超平面 ​ 定义： 超平面是具有下面形式的集合 x∣aTx=b ,a∈Rn,a≠0且b∈R {x|a^Tx=b} \ , \quad a \in R^n,a\ne 0且b \in R x∣aTx=b ,a∈Rn,a​=0且b∈R ​ 上述定义还可以表示成以下形式： x∣aT(x−x0)=0 {x|a^T(x-x_0)=0} x∣aT(x−x0​)=0 ​ 其
凸优化学习（二）——凸集
冬之晓
03-16 1万+
注意，本文内容来自于吴恩达老师cs229课堂笔记的中文翻译项目:https://github.com/Kivy-CN/Stanford-CS-229-CN 中的凸优化部分的内容进行翻译学习。 2. 凸集 我们从凸集的概念开始研究凸优化问题。 定义2.1 我们定义一个集合是凸的，当且仅当任意x,y∈Cx,y\in Cx,y∈C 且 θ∈R,0≤θ≤1\theta\in R, 0\le\theta...
解决过拟合问题--正则化（Lasso 和 Ridge）
weixin_43844229的博客
03-13 679
一、样本过拟合与欠拟合 #输入训练样本的特征以及目标值，分别存储在变量X_train,y_train中 X_train=[[6],[8],[10],[14],[18]] y_train=[[7],[9],[13],[17.5],[18]] from sklearn.linear_model import LinearRegression regressor=LinearRegression()...
凸优化第二章凸集 2.2 重要例子（仿射集合和凸集）
hyl1181的博客
12-16 684
2.2重要例子 1 空集、单点集、都是的仿射 2 任意直线都是仿射 3 一条线段是凸的，但不是仿射 4 射线是凸的，但不是仿射 5 任何子空间都是仿射的、凸锥 超平面与半空间 超平面 数学上超平面是具有下列形式的集合: 从上式看出，超平面其实是线性方程的解空间。从几何上看，超平面其实是以a为法向量的平面。如下图： 半空间 半空间数学上的定义是 几何上是： Euclid球和椭球 Euclid球 以为球心以r为半径的球这样表示： 也可以写成： Eucli
CMU Convex Optimization(凸优化)笔记1--凸集和凸函数
dianqiongzhou3869的博客
05-20 1131
CMU凸优化笔记--凸集和凸函数 结束了一段时间的学习任务，于是打算做个总结。主要内容都是基于CMU的Ryan Tibshirani开设的Convex Optimization课程做的笔记。这里只摘了部分内容做了笔记，很感谢Ryan Tibshirani在官网中所作的课程内容开源。也很感谢韩龙飞在CMU凸优化课程中的中文笔记，我在其基础上做了大量的内容参考。才疏学浅，忘不吝赐教。 1...
向量 p范数的凹凸性证明
颹蕭蕭
10-07 1万+
当 p≥1 时，向量的 Lp 范数是凸函数； 当 p＜1 且 p≠0 时，向量的 Lp 范数是凹函数。
数学基础（三）——凸优化
qq_41010142的博客
04-16 9124
                                        凸优化ps: 个人笔记 根据视频和PDF学习思考凸集和凸函数y=x 2 是凸函数，函数图像上位于y=x 2 上方的区域构成凸集。    凸函数图像的上方区域，一定是凸集；    一个函数图像的上方区域为凸集，则该函数是凸函数。    稍后给出上述表述的形式化定义。因此，学习凸优化，考察凸函数，先从凸集及其性质开始。(超...
凸优化概括总结
vivian_ll的博客
07-24 5920
相关概念 仿射集（Affine set）：通过集合C中任意两个不同点的直线仍然在集合C内，则称集合C为仿射集。比如：直线、平面、超平面 类似于线性变换 n维空间的n-1维仿射集为n-1维超平面。 仿射包（Affine hull）：包含集合C的最小仿射集。比如：直线的仿射包是它自己。球不是仿射集 仿射维数：仿射包的维数。比如：三角形的仿射维数为2；线段的仿射维数为1；球的仿射维数为3。 ...
凸集的一个证明
天天向上的专栏
10-31 1万+
凸集的定义： 对集合 SSS 任意两点 x1x_1x1​， x2x_2x2​，以及两个实数 θ1\theta_1θ1​， θ2\theta_2θ2​，并且 θ1+θ2=1\theta_1+\theta_2=1θ1​+θ2​=1， θ1≥0\theta_1\geq 0θ1​≥0， θ2≥0\theta_2\geq 0θ2​≥0，都有 θ1x1+θ2x2∈S\theta_1 x_1+\theta_2x...
凸优化中的数学（二）范数，距离，单位球
q__y__L的博客
12-13 1万+
凸优化中的数学（二）之——范数，距离、单位球我们首先给出范数的定义：
压缩感知中的lp球：p范数最优化为什么总会导致一个稀疏的解的原因
热门推荐
彬彬有礼的专栏
10-19 2万+
题目：  压缩感知中的lp球：p范数最优化为什么总会导致一个稀疏的解的原因
LP范数球
冬瓜班小朋友的博客
06-05 4688
一维情况 %2016.6.5 %author:Lola %description:p范数 clc close all clear all x1= -2:0.01:2; x=abs(x1); p=[0.5 1 2]; y1=x.^(p(1)); y2=x.^(p(2)); y3=x.^(p(3)); plot(x1,y1,'c:','linewidth',2); hold on plot(x1
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值