机器学习中的范数规则化之L21范数

最新推荐文章于 2024-08-08 23:23:23 发布
最新推荐文章于 2024-08-08 23:23:23 发布
阅读量1.2w 收藏 45
点赞数 17
分类专栏： 机器学习 数学基础 回归模型

在这里插入图片描述
先看上面l21范数的定义，注意原始矩阵是n行t列的，根号下平方是对列求和，也就是说是在同一行中进行操作的，根号部分就相当于一个l2范数，由此可以看出l21范数实则为矩阵X每一行的l2范数之和。

在矩阵稀疏表示模型中，把它作为正则化项有什么作用呢？前面说到它是每一行的l2范数之和，在最小化问题中，只有每一行的l2范数都最小总问题才最小。而每一个行范数取得最小的含义是，当行内尽可能多的元素为0时，约束才可能取得最小。而行内尽可能地取0意思是说行稀疏！

综上可以这样解释，不同于l1范数（矩阵元素绝对值之和）的稀疏要求，l21范数还要求行稀疏！

qq_40432881
关注
专栏目录
[机器学习]L21,L2,核范数
小白
11-24 2万+
前言：因为目前所做的鲁棒凸聚类用到了L1范数，故上一篇文章Lasso重点关注了lasso及其与岭回归的比较，此文将整合各种范数。1. 范数的公式  ref[1]范数就是关于向量或者矩阵的函数，得到的是一个数值。（大致来自知乎）1）向量范数1-范数：，即向量元素绝对值之和。2-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方。∞-范数：，即所有向量元素绝对值...
分类任务中的损失函数及正则化项（范数）
qq_35255933的博客
09-10 1072
1、为什么用损失函数对参数求导 不论是在做深度学习的模型训练，还是分类任务，我们的训练目的是要找到使模型的识别精度高的参数。那么，为什么不能将识别精度作为指标呢？因为如果以识别精度为指标，则参数的导数在绝大多数地方都会变为0，导致参数无法更新。那为什么用识别精度作为指标时，参数的导数在绝大多数地方都会变成0呢？因为仅仅微调参数，无法改善识别精度，那么导数自然就会为0。 思考例子： 为了回答这个问假设某个神经网络正确识别出了100个训练数据中的32笔，此时识别精度为32%。如果以识别精度为指标，即使稍微改
有关L2,1范数作用的理解--正则化项作用
Hakxia博客
03-12 996
有关L2,1范数作用的理解--正则化项作用
向量与矩阵的范数（比较1-范数、2-范数、无穷范数、p-范数、L0范数 和 L1范数等）
热门推荐
TechArtisan6的博客
08-14 33万+
阅读文献时，经常看到各种范数，机器学习中的稀疏模型等，也有各种范数，其名称往往容易混淆，例如：L1范数也常称为“1-范数”，但又和真正的1-范数又有很大区别。下面将依次介绍各种范数。 1、向量的范数 向量的1-范数： ;各个元素的绝对值之和； 向量的2-范数：；每个元素的平方和再开平方根； 向量的无穷范数： p-范数：，其中正整数p≥1，并且有 例：...
易漏范数总结（二范数、F范数以及其他变种范数）
最新发布
m0_74194861的博客
08-08 1006
关于范数的个人总结
机器学习_矩阵的l21范数/行稀疏/结构稀疏
m0_38034312的博客
11-21 1万+
【1】公式： 【2】理解：公式中n为行数，t为列数。也就是当行n=1，对整个行向量求了l2范数。                     所以l21范数的理解是行向量的l2范数之和 【3】正则化项的作用：使每一行的l2范数尽可能小，行内出现尽可能多的0元素，尽可能稀疏，也称为行稀疏。 【4】行稀疏、列稀疏统称结构化稀疏。
通过ℓ2,1-范数正则化M估计学习加性指数族图形模型
03-15
通过ℓ2,1-范数正则化M估计学习加性指数族图形模型
有关l2,1范数作用的理解
开飞机的小毛驴儿
02-19 2万+
今天和导师讨论问题的时候，说到了l21范数。导数希望我能解释一下，我明白它的作用可是我知道我没有向老师解释清楚，有些失落。今晚就自己总结一下吧，希望下次再有人问我这个问题的时候我能向别人解释清楚。 先看上面l21范数的定义，注意原始矩阵是n行t列的，根号下平方是对列求和，也就是说是在同一行中进行操作的，根号部分就相当于一个l2范数，由此可以看出l21范数实则为矩阵X每一行的l2范数之和。
基于L2,1范数的特征选择方法
云水禅心的博客
03-24 1万+
本文来自于论文Feiping Nie, Heng Huang, Xiao Cai, Chris H. Q. Ding. Efficient and Robust Feature Selection via Joint L2,1-Norms Minimization,NIPS,pp.1813-1821, 2010的阅读心得总结 该论文提出了一种基于损失函数和正则项的L2,1L2,1L_{2...
矩阵L2,1范数及矩阵L2,p范数的求导
weixin_37773766的博客
11-20 6712
1、向量范数 1-范数：，即向量元素绝对值之和，matlab调用函数norm(x, 1) 。 2-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，matlab调用函数norm(x, 2)。 ∞-范数：，即所有向量元素绝对值中的最大值，matlab调用函数norm(x, inf)。 -∞-范数：，即所有向量元素绝对值中的最小值，matlab调用函数...
L1范数，L2范数，L2,1范数（向量范数、矩阵范数、正则化）
qq_42340716的博客
08-04 1万+
向量范数，矩阵范数，正则化，特征选择
由L2,1-范数规范化的低秩表示法，用于鉴定差异表达的基因
03-15
由L2,1-范数规范化的低秩表示法，用于鉴定差异表达的基因
最优特征选择的l_21范数正则化Fisher准则
04-07
最优特征选择的l_21范数正则化Fisher准则
具有l21范数正则化的随机傅立叶极限学习机
03-10
具有l21范数正则化的随机傅立叶极限学习机
基于L2,1 / 2矩阵范数的稀疏特征选择用于Web图像标注。
03-09
基于L2,1 / 2矩阵范数的稀疏特征选择用于Web图像标注。
L_(2,1)范数正则化的广义核判别分析及其人脸识别.pdf
09-23
L_(2,1)范数正则化的广义核判别分析及其人脸识别.pdf
范数的理解
WangKingJ的博客
11-14 3444
在看图卷积的时候，碰到了范数的问题(其实之前也遇到过，但是没有仔细的整理，主要是懒)，然后，这次决定查阅一波资料整理一下。 1.向量的范数 向量的1-范数： ∣∣X∣∣1=∑i=0n∣xi∣||X||_1 = \sum_{i=0}^n |x_i|∣∣X∣∣1​=i=0∑n​∣xi​∣它表示的就是各个元素的绝对值之和。 向量的2-范数： ∣∣X∣∣2=(∑i=0nxi2)1/2=∑i=1nxi2|...
机器学习的数学基础 矩阵论与概率论
efei7968的博客
03-21 3237
文章目录机器学习的数学基础1.1 标量、向量、矩阵、张量之间的联系1.2 张量与矩阵的区别？1.3 矩阵和向量相乘结果1.4 向量和矩阵的范数归纳1.5 如何判断一个矩阵为正定？1.6 导数偏导计算1.7 导数和偏导数有什么区别？1.8 特征值分解与特征向量1.9 奇异值与特征值有什么关系?1.10 机器学习为什么要使用概率？1.11 变量与随机变量有什么区别？1.12 常见概率分布1.13 举例...
矩阵范数及其求导
weixin_30598225的博客
09-19 842
在机器学习的特征选择中，利用选择矩阵的范数对选择矩阵进行约束，即是正则化技术，是一种稀疏学习。 矩阵的L0,L1范数 为了度量稀疏矩阵的稀疏性，则定义矩阵的一种范数，为：∥W∥1=∑i,j|Wi,j|。即为矩阵所有元素的绝对值之和，能够描述接矩阵的稀疏性，但是在优化时，难度较大，是将情况向矩阵中元素尽可能是0的方向优化。 1）L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值