最优化学习（一）

最新推荐文章于 2024-07-01 19:44:11 发布

叭了个叭了个叭了叭

最新推荐文章于 2024-07-01 19:44:11 发布

阅读量1.2k

点赞数

文章标签：算法数据结构

本文链接：https://blog.csdn.net/m0_59360018/article/details/120783555

版权

增加了学习任务，算法最优化，根据老师推荐购买了《最优化：建模，算法与理论这本书》，接下来进行学习。

不知道应该怎样具体进行学习，目前的打算是遇到不会的就搞明白，后边学习模式是否需要改变再做打算。不懂的知识点会用块引用进行标注，代码应该会在pcharm中进行实现，如果需要再进行MATLAB的学习。

s.t.代表约束条件

在线性方程求解中，比如信号传输过程中，真正有用的解是所谓的“稀疏解”。

1.压缩感知：通过部分信息恢复全部信息的解决方案。

2.高斯分布：又称为正态分布，若随机变量X服从一个数学期望为μ、方差为σ2的正态分布，记为N(μ，σ2)。其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布。

若

3.欠定方程组：方程个数小于未知量个数的方程组。

对于方程组Ra=y，R为n×m矩阵，且n<m。则方程组有无穷多组解，此时称方程组为欠定方程组。内点法和梯度投影法是目前解欠定方程组的常用方法。

2.1范数

4.范数球：一定是凸集，且满足三角不等式

5.算子范数：由向量范数诱导出来，且都满足

这种也可以适用于相容性缩放，但要注意的是并不是所有的矩阵范数都与给定的向量范数相容。最常用到的是矩阵的2范数，即元素值的平方和开方。

6.最大奇异值：类似于矩阵特征值，在矩阵中也是从大到小排列

奇异值_Nelocage-CSDN博客_最大奇异值

7.核范数：给定矩阵A，核范数就是该矩阵所有的非零奇异值之和，r=rank(A)

范数一般用于衡量矩阵模的大小

2.2导数

推导一下二次上界，是关于定义（梯度利普希茨连续）的引理，有什么理解错的地方欢迎大家指正，本身也是学习的过程

首先看一下梯度利普希茨连续，给定可微函数f，若存在L>0，对任意x,y∈dom f 有：

$\left \|\bigtriangledown f(x)-\bigtriangledown f(y) \right \|\leq L\left \| x-y \right \|$ (2.2.2)

则称f是梯度利普希茨连续的，相应利普希茨常数为L，有时也简记为梯度L-利普希茨连续或L-光滑

梯度利普希茨连续表明 $\bigtriangledown f(x)$ 的变化可以被自变量x的变化所控制，满足该性质的函数具有很多好的性质，一个重要的性质是具有二次上界。

引理（二次上界）设可谓函数 $f(x)$ 的定义域 $dom f = \mathbb{R} ^n$ ,且为梯度L-利普希茨连续的，则函数 $f(x)$ 有二次上界：

$f(y) \leqslant f(x) + \bigtriangledown f(x)^T(y-x) + \frac{L}{2}\left \|y-x \right \|^2,\forall x,y \in dom f.$ (2.2.3)

另附LaTeX的符号表 LaTeX常用数学符号表示方法 - 知乎

接下证明对于任意的 $x,y \ni \mathbb{R} ^n$ ,构造辅助函数

$g(t) = f(x+t(y-x)),t \in [0,1]$ (2.2.4)

通过观察可以发现 $g(0) = f(x),g(1) = f(y)$ ,以及

$g'(t) = \nabla f(x+t(y-x))^T(y-x)$

这一步很显然是等式两边同时对t进行求导，左边是 $g'(t)$ 右边见上式

由等式

$g(1) - g(0) = \int_{0}^{1} g'(t)dt$

以及 $g(0) = f(x),g(1) = f(y)$ 可知：

$f(y) - f(x) - \nabla f(x)^T(y-x)\\= \int_{0}^{1}(g'(t)-g'(0))dt\\=\int_{0}^{1}(\nabla f(x)+t(y-x)-\nabla f(x))^T(y-x)dt$

下一步用到了柯西不等式： $|a^Tb| \leqslant ||a||_2||b||_2$

$\leqslant \int_{0}^{1} \left \| \nabla f(x)+t(y-x)-\nabla f(x) \right \| \left \|y-x \right \|dt \\ \quad \leqslant \int_{0}^{1}L\left \| y-x \right \|^2tdt\\ \\ =\frac{L}{2}\left \| y-x \right \|^2$

其中最后一行的不等式利用了(2.2.2)条件

这个引理实际上指的是 $f(x)$ 可被一个二次函数上界所控制，即要求 $f(x)$ 的增长速度不超过二次。实际上，该引理对 $f(x)$ 定义域的要求可减弱为 $dom f$ 是凸集（后边学到了再研究，还有很长一段路），此条件的作用是保证证明中的 $g(t)$ 当 $t \in [0,1]$ 时是有定义的。

若 $f$ 是梯度利普希茨连续的，且有一个全局极小点 $x^*$ ，以个重要的推论就是我们能够利用二次上界来估计 $f(x) - f(x^*)$ 的大小，其中 $x$ 可以是定义域中的任一点。

叭了个叭了个叭了叭

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
最优化学习（一）

增加了学习任务，算法最优化，根据老师推荐购买了《最优化：建模，算法与理论这本书》，接下来进行学习。不知道应该怎样具体进行学习，目前的打算是遇到不会的就搞明白，后边学习模式是否需要改变再做打算。不懂的知识点会用块引用进行标注，代码应该会在pcharm中进行实现，如果需要再进行MATLAB的学习。s.t.代表约束条件在线性方程求解中，比如信号传输过程中，真正有用的解是所谓的“稀疏解”。压缩感知：通过部分信息恢复全部信息的解决方案。高斯分布：又称为正态分布，若随机变量X服从一个数学期望为μ、
复制链接

扫一扫