【数值优化之范数与导数】

无意2121

已于 2023-12-25 16:56:07 修改

阅读量2.6k

点赞数 3

分类专栏：数值优化文章标签：线性代数性能优化算法

于 2022-06-16 12:26:16 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_65089713/article/details/125132422

版权

数值优化专栏收录该内容

16 篇文章 17 订阅

订阅专栏

欢迎大家关注我的B站：

偷吃薯片的Zheng同学的个人空间-偷吃薯片的Zheng同学个人主页-哔哩哔哩视频 (bilibili.com)

本文参考书籍《最优化计算方法》

这一部分会介绍一些最优化需要用到的基本数学概念。

目录

1.1 向量范数

1.2 矩阵范数

1.3 矩阵内积

2.1 梯度与海瑟矩阵

2.2 矩阵变量函数的导数

1 范数

1.1 向量范数

范数相当于是从向量空间到实数域的映射，也就是度量向量与原点之间的距离，但是这里有很多不同的范数，1范数就相当于是曼哈顿距离，2范数相当于欧几里得距离，无穷范数就相当于闵氏距离。

一般来说，下标省略的范数，默认是2，如下是范数2时的常用的Cauchy不等式

$\left | a^{T} b\right |\leq \left \| a \right \|\left \| b \right \|$

等号仅当两个向量线性相关的时候取到

1.2 矩阵范数

知道了向量范数之后，就比较好理解矩阵范数了，显然当1范数时

$\left \| A \right \|_{1}=\sum_{i=1}^{m}\sum_{j=1}^{n}\left | a_{ij} \right |$

也就是矩阵所有元素的绝对值之和

2范数也就是矩阵所有元素的平方和开根号

$\left \| A \right \|_{2}=\sqrt{Tr(AA^{T})}=\sqrt{\sum_{i,j}^{}a_{ij}^{2}}$

Tr 称为矩阵的迹，是矩阵主对角线元素之和，矩阵的2范数有正交不变性，对任意正交矩阵U和V

$\left \| UAV \right \|_{2}^{2}=Tr(UAVV^{T} A^{T}U^{T})=Tr(UAA^{T}U^{T})=Tr(AA^{T}U^{T}U)$

$=Tr(AA^{T})=\left \| A\right \|_{2}^{2}$

除了从向量范数的定义规律来推广以外，矩阵范数还可以从向量范数诱导而来

$\because \left \| Ax \right \|_{(m)}\leq \left \| A \right \|_{(m,n)}\left \| x \right \|_{n}$

这个性质被称为矩阵的相容性

$\therefore \left \| A \right \|_{(m,n)}=max\left \| Ax \right \|_{(m)} ,x\in R^{n},\left \| x \right \|_{n}=1$

1.3 矩阵内积

矩阵范数用来衡量大小，矩阵内积一般用来表示两个矩阵之间的夹角（也可理解为两个矩阵所张成空间的夹角）

$\left \langle A,B \right \rangle=Tr(AB^{T})=\sum_{i=1}^{m}\sum_{j=1}^{n}a_{ij}b_{ij}$

同时也有矩阵范数的柯西不等式

$\left \langle A,B \right \rangle\leq \left \| A \right \|_{F}\left \| B \right \|_{F}$

2 导数

2.1 梯度与海瑟矩阵

上面的公式其实就是：方向导数等于梯度与方向单位向量的内积

其实这代表着 f(x) 的增长速度不能超过二次函数

2.2 矩阵变量函数的导数

多元函数梯度的定义可以推广到矩阵

关注

3
点赞
踩
11

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

无意2121 创作不易，多多支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。