【数值优化之范数与导数】

已于 2023-12-25 16:56:07 修改
阅读量2.1k 收藏 10
点赞数 3
分类专栏： 数值优化 文章标签： 线性代数 性能优化 算法
于 2022-06-16 12:26:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_65089713/article/details/125132422
版权

欢迎大家关注我的B站：

偷吃薯片的Zheng同学的个人空间-偷吃薯片的Zheng同学个人主页-哔哩哔哩视频 (bilibili.com)

本文参考书籍《最优化计算方法》

这一部分会介绍一些最优化需要用到的基本数学概念。

目录

1 范数

1.1 向量范数

1.2 矩阵范数

1.3 矩阵内积

2 导数

2.1 梯度与海瑟矩阵

2.2 矩阵变量函数的导数

1 范数

1.1 向量范数

范数相当于是从向量空间到实数域的映射，也就是度量向量与原点之间的距离，但是这里有很多不同的范数，1范数就相当于是曼哈顿距离，2范数相当于欧几里得距离，无穷范数就相当于闵氏距离。

一般来说，下标省略的范数，默认是2，如下是范数2时的常用的Cauchy不等式

                                                               \left | a^{T} b\right |\leq \left \| a \right \|\left \| b \right \|

等号仅当两个向量线性相关的时候取到

1.2 矩阵范数

知道了向量范数之后，就比较好理解矩阵范数了，显然当1范数时

                                                            \left \| A \right \|_{1}=\sum_{i=1}^{m}\sum_{j=1}^{n}\left | a_{ij} \right |

也就是矩阵所有元素的绝对值之和

2范数也就是矩阵所有元素的平方和开根号

                                                \left \| A \right \|_{2}=\sqrt{Tr(AA^{T})}=\sqrt{\sum_{i,j}^{}a_{ij}^{2}}

Tr 称为矩阵的迹，是矩阵主对角线元素之和，矩阵的2范数有正交不变性，对任意正交矩阵U和V

\left \| UAV \right \|_{2}^{2}=Tr(UAVV^{T} A^{T}U^{T})=Tr(UAA^{T}U^{T})=Tr(AA^{T}U^{T}U)

=Tr(AA^{T})=\left \| A\right \|_{2}^{2}

除了从向量范数的定义规律来推广以外，矩阵范数还可以从向量范数诱导而来 

\because \left \| Ax \right \|_{(m)}\leq \left \| A \right \|_{(m,n)}\left \| x \right \|_{n}

这个性质被称为矩阵的相容性

\therefore \left \| A \right \|_{(m,n)}=max\left \| Ax \right \|_{(m)} ,x\in R^{n},\left \| x \right \|_{n}=1

1.3 矩阵内积

矩阵范数用来衡量大小，矩阵内积一般用来表示两个矩阵之间的夹角（也可理解为两个矩阵所张成空间的夹角）

\left \langle A,B \right \rangle=Tr(AB^{T})=\sum_{i=1}^{m}\sum_{j=1}^{n}a_{ij}b_{ij}

同时也有矩阵范数的柯西不等式

\left \langle A,B \right \rangle\leq \left \| A \right \|_{F}\left \| B \right \|_{F}

2 导数

2.1 梯度与海瑟矩阵

 上面的公式其实就是：方向导数等于梯度与方向单位向量的内积

其实这代表着 f(x) 的增长速度不能超过二次函数 

2.2 矩阵变量函数的导数

多元函数梯度的定义可以推广到矩阵

无意2121
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
凸优化l1范数求解算法_凸优化
09-19
可用作稀疏表征，用于稀疏表征中l1范数稀疏性度量并求解
L1范数-凸优化_matlabtoolbox.rar
07-29
本文件是凸优化的MATLAB工具箱文件。压缩包内含有凸优化的工具箱和工具箱的学习与配置说明pdf。
在一般范数下的鲁棒优化
03-02
讲解一般范数下的鲁棒优化，深入剖析内容以及优化问题
lp范数约束的去冲击干扰优化算法.pdf
05-21
lp范数约束的去冲击干扰优化算法.pdf
数值优化之等式约束下的范数最小问题求解（附matlab原始求解代码和可视化，容易理解和剖析）
09-07
等式约束下的范数最小问题求解； 在数学中，范数是从实数或复数向量空间到非负实数的函数，其行为方式类似于到原点的距离：它与缩放对易，服从三角不等式的形式，并且为零只在原点。具体来说，向量到原点的欧几里得距离是一个范数，称为欧几里得范数或2-范数，也可以定义为向量与其自身 的内积的平方根。半范数满足范数的前两个属性，但对于除原点以外的向量可能为零。[1]具有指定范数的向量空间称为范数向量空间。以类似的方式，具有半范数的向量空间称为半范数向量空间。 在受约束的最小二乘法中，通过对解的附加约束来解决线性最小二乘问题。即无约束方程{\displaystyle \mathbf {X} {\boldsymbol {\beta }}=\mathbf {y} }\mathbf {X} {\boldsymbol {\beta }}=\mathbf {y}必须尽可能紧密地拟合（在最小二乘意义上），同时确保{\displaystyle {\boldsymbol {\beta }}}{\boldsymbol {\beta }}得到维护。
常用的范数求导
热门推荐
机器学习的小学生
12-14 6万+
矢量范数的偏导数 L1范数不可微。但是存在次梯度，即是次微分的，这里先不写。 L2 范数： ∂∂x||x−a||2=x−a||x−a||2\begin{equation} \frac{\partial }{\partial \mathbf x }||\mathbf x- \mathbf a||_2 =\frac{\mathbf x -\mathbf a}{||\mathbf x -\mathbf
向量范数求导
rosefun96的博客
12-11 1万+
1、问题看了参考资料，不是很懂，一个标量与n*1维向量取导，应该得到1*n维向量，但参考1的例子好像却与这个不符。参考： 1.向量范数求导； 2.矩阵计算_Wikipedia； 3.matrixCookbook
范数与导数
林景的博客
09-11 2674
范数与导数的基本概念
矩阵L2,1范数及矩阵L2,p范数的求导
weixin_37773766的博客
11-20 6456
1、向量范数 1-范数：，即向量元素绝对值之和，matlab调用函数norm(x, 1) 。 2-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，matlab调用函数norm(x, 2)。 ∞-范数：，即所有向量元素绝对值中的最大值，matlab调用函数norm(x, inf)。 -∞-范数：，即所有向量元素绝对值中的最小值，matlab调用函数...
向量的2范数求导？
Charles5101的博客
01-06 3万+
  ，  A: ， 即 A(x)=b，   b ，  是求A(x)-b的2范数。 问题：对    求一阶导   .    解答过程如下：   原式等于     对x求导得：     这里主要用到的是向量和矩阵的求导公式。分别为        和      此外还有向量2范数的定义式。   Reference： [1] https://www.zhihu.com/ques...
数学术语——范数(norm)
ComputerInBook的专栏
07-20 1264
数学术语——范数(norm)
一、基础知识(1)-范数、导数
11-13 1067
最优化基础数学知识
向量的L2范数求导
weixin_30892889的博客
09-14 3763
回归中最为基础的方法, 最小二乘法. \[ \begin{align*} J_{LS}{(\theta)} &= \frac { 1 }{ 2 } { \left\| A\vec { x } -\vec { b } \right\| }^{ 2 }\quad \\ \end{align*} \] 向量的范数定义 \[ \begin{align*} \vec x &= [x_1,...
矩阵求导计算
m0_46312382的博客
05-14 269
L2范数(norm)：为x向量各个元素平方和的1/2次方，L2范数又称Euclidean范数或者Frobenius范数。dA/dB矩阵求导的本质就是矩阵A中的每一个元素对矩阵B中的每一个元素进行求导。
正交变换不改变矩阵F-范数、2-范数的证明
weixin_51397965的博客
06-04 7873
正交变换不改变矩阵F-范数和2-范数的证明
l2范数求导_稀疏编码学习笔记（二）L2范数
weixin_42513546的博客
01-27 1672
L2范数除了L1范数，还有一种更受宠幸的规则化范数是L2范数: ||W||2。它也不逊于L1范数，它有两个美称，在回归里面，有人把有它的回归叫“岭回归”(Ridge Regression)，有人也叫它“权值衰减weight decay”。这用的很多吧，因为它的强大功效是改善机器学习里面一个非常重要的问题：过拟合。至于过拟合是什么，上面也解释了，就是模型训练时候的误差很小，但在测试的时候误差很大，也...
向量二范数求导
DeniuHe的博客
08-27 5347
整个国内网站上竟然搜不到向量二范式求导公式。 发帖的国内 学者全部都搞混了，把二范数平方求导当做了二范数求导。竟然还被无数转载，悲伤~
【优化笔记2】范数+梯度+海瑟矩阵
☆下山☆的博客
11-16 1716
范数、梯度、海瑟矩阵
梯度下降法优化二范数
最新发布
08-27
梯度下降法可以用来优化二范数。二范数是指向量的欧氏长度，通常用于衡量向量的大小。优化二范数的目标是寻找使得二范数最小化的向量。 在梯度下降法中，我们可以将二范数的最小化问题转化为一个损失函数的最小化问题。我们可以定义损失函数为二范数的平方，即将向量的每个分量平方后求和。然后，我们使用梯度下降法来最小化这个损失函数。 具体来说，梯度下降法通过迭代更新向量的每个分量，使得损失函数逐渐减小。在每次迭代中，我们计算损失函数对于每个分量的偏导数（即梯度），然后将梯度与学习率相乘得到更新值，最后更新向量的每个分量。 这样，通过多次迭代，梯度下降法可以找到一个使得二范数最小化的向量。需要注意的是，梯度下降法可能会陷入局部最小值，因此可以考虑使用其他优化算法来进一步优化二范数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

无意2121

创作不易，多多支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值