范数

最新推荐文章于 2023-01-15 00:43:57 发布

water&12

最新推荐文章于 2023-01-15 00:43:57 发布

阅读量297

点赞数 1

分类专栏：数学

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_32896115/article/details/103463961

版权

数学专栏收录该内容

1 篇文章 0 订阅

订阅专栏

在神经网络出现overfit的时候，通常采用regularization的方式来解决过拟合，包括：

L1/L2正则化
Dropout正则化

在L1/L2正则化中分别用到了L1范数和L2范数，本篇我们对常见的向量范数和矩阵范数进行总结。

1. 向量范数

对于向量 $x=[x_1,x_2,...,x_m]$ ，常用的范数包括

1-范数

$||x||_1=\sum_{i=1}^{m}{|x_i|}$ ，即向量元素绝对值之和，x 到零点的曼哈顿距离

2-范数

$||x||_1=\sqrt{\sum_{i=1}^{m}{x_i^2}}$ ，2-范数也称为Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，表示x到零点的欧式距离

p-范数

$||x||_p=(\sum_{i=1}^{m}|x_i|^p)^{\frac{1}{p}}$ ，即向量元素绝对值的p次方和的1/p次幂，表示x到零点的p阶闵氏距离。

$\infty$ -范数

$||x||_\infty=\max_i |x_i|$ ，当p趋向于正无穷时，即所有向量元素绝对值中的最大值

$-\infty$ -范数

$||x||_{-\infty}=\min_i |x_i|$ ，当p趋向于负无穷时，即所有向量元素绝对值中的最小值

0-范数

零范数即是当p趋于零，可以证明这时候的极限 $(x_1^p + x_2^p + \cdots + x_m^p)^{\frac{1}{p}}$ 恰好是向量 $x=(x_1,x_2,\cdots,x_n)^{T}$ 非零元素的个数。

2. 矩阵范数

对于矩阵 $A \in R^{m\times n}$

1-范数

$||A||_1=\max_j\sum_{i=1}^{m}{|a_{i,j}|}$ ，列和范数，即所有矩阵列向量绝对值之和的最大值

2-范数

$||A||_2=\sqrt{\lambda_1}$ ， $\lambda_1$ 表示 $A^TA$ 的最大特征值，称为谱范数

$\infty$ -范数

$||A||_\infty=\max_j\sum_{j=1}^{m}{|a_{i,j}|}$ ，称为行和范数，即所有矩阵行向量绝对值之和的最大值

F-范数

$||A||_F=(\sum_{i=1}^{m}{\sum_{j=1}^{n}a_{i,j}^2})^{\frac{1}{2}}$ ，称为Frobenius范数，即矩阵元素绝对值的平方和再开平方

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
范数

引用在神经网络出现overfit的时候，通常采用regularization的方式来解决过拟合，包括：L1/L2正则化Dropout正则化在L1/L2正则化中分别用到了L1范数和L2范数，本篇我们对常见的向量范数和矩阵范数进行总结。1. 向量范数对于向量，常用的范数包括1-范数，即向量元素绝对值之和，x 到零点的曼哈顿距离2-范数，2-范数也称为Euclid范数（欧几里得范数，常用计算向...
复制链接

扫一扫

专栏目录

water&12 CSDN认证博客专家 CSDN认证企业博客

码龄9年

31: 原创

39万+: 周排名

4万+: 总排名

7万+: 访问

: 等级

1038: 积分

46: 粉丝

63: 获赞

14: 评论

304: 收藏

私信

关注

热门文章

分类专栏

leetcode 6篇
空间几何 3篇
目标检测 1篇
数学 1篇
wa 5篇
deep learning 11篇

最新评论

【无标题】
CSDN-Ada助手: Python入门技能树或许可以帮到你：https://edu.csdn.net/skill/python?utm_source=AI_act_python
C++ 字符串
m0_59560354: 你好有没有参考代码呢
基于Pytorch的MNIST数据集的预处理
m0_55193846: 我用pytorch搭建cnn对mnist手写数字库识别时出现了File "D:\python\lib\site-packages\torchvision\datasets\mnist.py", line 126, in __getitem__ img, target = self.data[index], int(self.targets[index]) IndexError: index 46128 is out of bounds for dimension 0 with size 10000 博主知道怎么在__getitem__把index的范围扩大吗，，博主看看我
pytorch学习—图像的加载/读取方式
王清欢Randy: 请问我输入的数据是三维矩阵，怎么转换为tensor呀
C++ 字符串
不吃西红柿丶: 大侠文采飞扬才情过人李白唐伯虎杜甫泰戈尔在世看此文章必定甘败下风从此无脸见人，在下对你的敬佩之意有如滔滔江水连绵不绝。

您愿意向朋友推荐“博客详情页”吗？

强烈不推荐
不推荐
一般般
推荐
强烈推荐

提交

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。