凸优化基础知识

最新推荐文章于 2023-05-12 10:33:05 发布

cc巴巴布莱特

最新推荐文章于 2023-05-12 10:33:05 发布

阅读量1.7k

点赞数 1

文章标签： python 人工智能

本文链接：https://blog.csdn.net/weixin_44314290/article/details/120844696

版权

一、计算几何是研究什么的？

二、计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？(按自己的体会)

1、凸集中

2、初中数学中

3、差异

三、凸集是什么？直线是凸集吗？是仿射集吗？

六、什么是“凸函数”定义？什么是Hessian Matrix 矩阵? 如何判别一个函数是凸函数？f(x)=x^3 函数是凸函数吗？

七、什么是“凸规划”？如何判别一个规划问题是凸规划问题。下例是凸规划问题吗？

一、计算几何是研究什么的？

计算几何研究的对象是几何图形。早期人们对于图像的研究一般都是先建立坐标系，把图形转换成函数，然后用插值和逼近的数学方法，特别是用样条函数作为工具来分析图形，取得了可喜的成功。然而，这些方法过多地依赖于坐标系的选取，缺乏几何不变性，特别是用来解决某些大挠度曲线及曲线的奇异点等问题时，有一定的局限性。

计算几何这一术语，最初是由明斯基和帕伯特于1969年作为模式识别的代用词而提出的，到1972年，福雷斯特给其下了正式定义：“对几何外形信息的计算机表示、分析和综合”。这里的几何外形信息是指那些用来确定某些几何外形的离散数据点或特征多边形。按照给定的信息，建立一定的数学模型，再通过计算机进行计算，求得其他所需的信息，这就是计算机表示。之后还需对所建立的数学模型特性及误差等进行分析、综合，以便逼真地反映出几何形体。

二、计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？(按自己的体会)

1、凸集中

$x_{1}$ , $x_{2}$ 为空间中的两个点，且 $x_{1}$ ≠ $x_{2}$ ，则：

$\large y=\theta x_{1} +(1-\theta )x_{2}$

2、初中数学中

过两点的直线方程表达式推导：

（1）设直线l上的两点P1、P2的坐标分别为( $x_{1}$ , $y_{1}$ )、( $x_{2}$ , $y_{2}$ )，且( $x_{1}$ ≠ $x_{2}$ )
所以直线l的斜率K：

$\large K=\frac{y_{2}-y_{1}}{x_{2}-x_{1}}$

（2）在直线l上任意取一点P $(x,y)$
将直线l的斜率K，P点的坐标代入直线的点斜式方程 $y-y_{1}=K(x-x_{1})$ 中得：

$\large y-y_{1}=\frac{y_{2}-y_{1}}{x_{2}-x_{1}}*(x-x_{1})$

即

$\large \frac{y-y_{1}}{y_{2}-y_{1}}=\frac{x-x_{1}}{x_{2}-x_{1}}$

为直线 l 的两点式方程。

3、差异

二者的区别在于计算机几何理论中过两点的一条直线是广泛的表示n维欧式空间内所有的两个点连成的直线，而初中数学中两点式的直线方程是一个直观的几何对象，二维坐标系（平面）中求解的直线方程。

三、凸集是什么？直线是凸集吗？是仿射集吗？

1、凸集是什么？

凸集的定义：集合C内任意两点间的线段均在集合C内，则称集合C为凸集。

2、直线是凸集吗？

根据：实数R上（或复数C上）的向量空间中，如果集合S中任两点的连线上的点都在S内，则称集合S为凸集。直线上任意两点的连线上的点都在直线上，所以直线是凸集。

3、直线是仿射集吗？

仿射集定义：仿射集亦称仿射流形、线性流形、仿射簇，是实线性空间中的一类子集。非空间射集 M 的维数定义为上述子空间 L 的维数。空集的维数定义为-1。维数分别为0、1，以及2的仿射集为点、直线和平面。

根据仿射集定义，当维数为1的仿射集为直线。

四、三维空间中的一个平面，如何表达？

用平面方程：

$Ax+By+Cz+D=0$

参数,A,B,C,D是描述平面空间特征的常数。

五、更高维度的“超平面”，如何表达？

超平面H是从n维空间到n-1维空间的一个映射子空间，它有一个n维向量和一个实数定义。因为是子空间，所以超平面一定过原点。

给定向量空间 Rn 中的一个点 P 和一个非零向量n ,满足n * （i - p）= 0，
则称点集 i 为通过点p 的超平面，向量 n为通过超平面的法向量。按照这个定义，虽然当维度大于3才可以成为“超”平面，但是你仍然可以认为，一条直线是 R2 空间内的超平面，一个平面是 R3 空间内的超平面。Rn 空间的超平面是Rn 空间内的一个 n - 1 维的仿射子空间。

六、什么是“凸函数”定义？什么是Hessian Matrix 矩阵? 如何判别一个函数是凸函数？f(x)=x^3 函数是凸函数吗？

1、凸函数

定义：设 $D\subseteq R ^{n}$ 是非空凸集， $f(x):S\rightarrow R$ ，若对任意的 $x,y\in D$ ，及任意的 $\alpha \in [0,1]$ 都有： $f(\alpha x+(1-\alpha )y)\leq \alpha f(x)+(1-\alpha )f(y)$ ，则称函数 $f(x)$ 为 $D$ 上的凸函数。

2、Hessian Martrix矩阵

3、如何判别一个函数是凸函数？

　对于一元函数 $f(x)$ ，我们可以通过其二阶导数 ${f}''(x)$ 的符号来判断。如果函数的二阶导数总是非负，即 ${f}''(x)\geq 0$ ，则 $f(x)$ 是凸函数

　对于多元函数 $f(x)$ ，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断。如果Hessian矩阵是半正定矩阵，则是 $f(x)$ 凸函数

4、f(x)=x^3 函数是凸函数吗？

对 $f(x)=x^{3}$ 求二阶导数：

$f(x)=x^{3}$ ； ${f}'(x)=3x^{2}$ ； ${f}''(x)=6x$

所以，

当 $x< 0$ 时，函数是凸函数；

当 $x> 0$ 时，函数是凹函数。

七、什么是“凸规划”？如何判别一个规划问题是凸规划问题。下例是凸规划问题吗？

1、凸规划

与一般的最优化问题标准形式相比，凸规划有三点附加条件：

（1）目标函数 $f(x)$ 必须是凸函数；

（2）不等式约束函数 $g_{i}(x)$ 必须是凸函数，不等式 $g_{i}(x)\leq 0$ 组成的区域为凸集；

（3）等式约束函数 $h_{j}(x)=a_{j}^{T}x-b_{j}$ 必须是仿射的（即线性函数和常函数的和函数）。

因此得出以下结论：凸规划的可行域是凸集。因为每个约束条件的点集都是凸集，它们的交集也是凸集。

2、如何判别一个规划问题是凸规划问题

设 $D\subseteq R^{n}$ 为凸集， $f(x)$ 为 $D$ 上的凸函数，则称规划问题 $\min_{x\in D}f(x)$ 为凸规划问题。

3、下例是凸规划问题吗？

综上所述，该问题是凸规划问题。

总结

在机器学习中会出现各种优化问题，本次学习了凸集、凸函数和凸优化等概念，了解了它的一些概念和基本思想，为以后机器学习奠定基础。

参考文献

机器学习必备知识点——凸优化_mango-CSDN博客

cc巴巴布莱特

关注

1
点赞
踩
18

收藏

觉得还不错? 一键收藏
0
评论
凸优化基础知识

计算几何研究的对象是几何图形。早期人们对于图像的研究一般都是先建立坐标系，把图形转换成函数，然后用插值和逼近的数学方法，特别是用样条函数作为工具来分析图形，取得了可喜的成功。然而，这些方法过多地依赖于坐标系的选取，缺乏几何不变性，特别是用来解决某些大挠度曲线及曲线的奇异点等问题时，有一定的局限性。
复制链接

扫一扫