【凸优化】仿射，仿射集，凸集，Jensen不等式

最新推荐文章于 2023-12-28 16:36:28 发布

qauzy

最新推荐文章于 2023-12-28 16:36:28 发布

阅读量1.1k

点赞数 2

分类专栏：数学机器学习

本文链接：https://blog.csdn.net/idwtwt/article/details/100047372

版权

机器学习同时被 2 个专栏收录

39 篇文章 3 订阅

订阅专栏

数学

18 篇文章 0 订阅

订阅专栏

1 定义和基本概念

1.0 直线的空间参数方程

A，B，M三点共线： $\underset{MA}{\rightarrow} =t* \underset{MB}{\rightarrow} ( t \in R)$
直线的参数方程：给定一个定点A和向量 $\underset{a}{\rightarrow}$ ，则 $\underset{AP}{\rightarrow} = t*\underset{a}{\rightarrow}(t \in R)$

$\underset{OP}{\rightarrow} = \underset{OA}{\rightarrow} + t*\underset{a}{\rightarrow}$ ，取 $\underset{a}{\rightarrow} = \underset{AB}{\rightarrow}$ ，则 $\underset{OP}{\rightarrow} = \underset{OA}{\rightarrow} + t * \underset{AB} {\rightarrow} = \underset{OA}{\rightarrow} + t* (\underset{OA}{\rightarrow} - \underset{OB}{\rightarrow}) = t *\underset{OB}{\rightarrow} + (1-t) * \underset{OA}{\rightarrow}$

1.1 直线和线段

如果 $X{_1} \neq X{_2} \in R^{n}$ ,则经过两点的直线可表示为：

$Y = X{_1} + (1-\theta )X{_2}, \theta \in R^{n}$

或：

$Y = X{_2} + \theta (X{_2}-X{_1}), \theta \in R^{n}$

如果 $0<\theta <1$ ,则表示为线段。

1.2 仿射

如果通过集合 $C\in R^{n}$ 的两个不同的点的直线，仍在C中，则称C是仿射。也就是仿射等价于

如果 $X{_1},X{_2} \in C$ ,

那么直线 $Y = X{_2} + \theta (X{_2}-X{_1}) \in C$

1.3 仿射集

仿射的概念可以推广到n个点，即，其中 $\theta{_1}{x_1}+\theta{_2}{x_2}+...+\theta{_n}{x_n}$ 。从属于C中点钟选择k个点，构成的 $\theta_1{x_1}+\theta_2{x_2}+...+\theta_k{x_k}$ 也称为仿射组合。

仿射集包含了集合内点的所有仿射组合。

1.4 凸和凸集

凸（convex）：对于集合 $C\subseteq{R^n}$ ，如果通过集合C中任意两个不同点之间的线段（注意啦！是线段了）仍在集合C中，则称集合C为凸（convex）。

凸组合： $\theta_1{x_1}+\theta_2{x_2}+...+\theta_n{x_n}$ 的点，其中 $\theta_i\geq 0,\theta_1+\theta_2+...+\theta_n=1$ ，则称点 $x_1,x_2,...,x_n$ 称为凸组合。

凸集：该集合包含了所有点的凸组合

1.5 凸函数

凸函数：设f(x) 为定义在n维欧氏空间中某个凸集上的函数，若对任意实数 $\theta(0< \theta <1)$ 以及中的任意两点和 $x{_1},x{_2}$ ，恒有:

$\theta f(x{_1}) + (1- \theta)f(x{_2}) \geqslant f(\theta x{_1} + (1- \theta)x{_2})$

则f(x)称为定义在凸集上的凸函数。

凹凸函数本质是描述函数斜率增减的。语义上凸为正，代表斜率在增加（单调不减）。凹为负，代表斜率在减少。

2 凸函数性质和 Jensen不等式

2.1 图

2.2 Jensen不等式理解

Jensen不等式就是就是凸函数的定义。直观上看就是a到b的弦（线段）在函数f(x)上方。

凸函数定义： $\theta f(x{_1}) + (1- \theta)f(x{_2}) \geqslant f(\theta x{_1} + (1- \theta)x{_2}) (0 < \theta < 1)$

根据1.1，经过 $x{_1}, x{_2}$ 两点的直线为（空间向量形式）： $\theta f(x{_1}) + (1- \theta)f(x{_2})$ ，限定 $(0 < \theta < 1)$ ,表示只是线段上的点大于函数值f(x)。

推广到多个点：

$\theta{_1} f(x{_1}) + \theta{_2} f(x{_2}) + \theta{_3} f(x{_3}) + ...\theta{_n} f(x{_n}) \geqslant f(\theta{_1}x{_1} + \theta{_2}x{_2} + \theta{_3}x{_3}+ ....+\theta{_n}x{_n}) (\theta{_1} + \theta{_2}+ \theta{_3}+...+\theta{_n} = 1)$

仔细观察上式，如果 $\theta{_n}$ 看做概率， $f({x{_n}})$ 看做分布函数，那么左边就是分布函数的期望，右边是变量期望的函数值，即

$E[f(x{_n})] \geqslant f(E[x{_n}])$

参考：

1 《凸优化》王书宁

2 https://www.jianshu.com/p/248be25393b7

3 https://blog.csdn.net/feilong_csdn/article/details/83476277

4 https://wenku.baidu.com/view/9fe0fb270722192e4536f6fd.html

5 https://zh.wikipedia.org/zh-cn/%E5%87%B8%E5%87%BD%E6%95%B0

qauzy

关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
【凸优化】仿射，仿射集，凸集，Jensen不等式

1 定义和基本概念1.0直线的空间参数方程A，B，M三点共线：直线的参数方程：给定一个定点A和向量，则，取，则1.1 直线和线段如果,则经过两点的直线可表示为：或：如果,则表示为线段。1.2 仿射如果通过集合的两个不同的点的直线，仍在C中，则称C是仿射。也就是仿射等价于如果,那么直线1.3 仿射集仿射的概念可以推广到n个点...
复制链接

扫一扫