Convex Optimization 凸优化学习第三章凸函数（一）

BestToolBoxGeng

于 2022-11-08 23:19:41 发布

阅读量1.2k

点赞数 1

文章标签：学习算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_45595516/article/details/127752588

版权

1. 基本性质

1.1 凸函数的定义

凸函数定义：函数 $f:R^n\rightarrow R$ 是凸的，如果 $domf$ 是凸集，且对于任意 $x,y\in domf$ 和任意 $0\leq \theta \leq1$ 有 $f(\theta x +(1-\theta)y)\leq\theta f(x)+(1-\theta)f(y)$

严格凸定义：就是在凸函数基础上， $x\neq y$ 且 $0<\theta <1$ ，有 $f(\theta x+(1-\theta)y)< \theta f(x)+(1-\theta)f(y)$

$f$ 是凹的，如果 $-f$ 是凸的； $f$ 是严格凹的，如果 $-f$ 是严格凸的。

性质1：仿射函数（包括线性函数）既是凸的也是凹的。若某个函数既是凸的也是凹的，则其是仿射函数。

性质2：函数是凸的，当且仅当其在与其定义域相交的任何直线上都是凸的。即，函数 $f$ 是凸的，则对于任意 $x \in domf$ 和任意向量 $v$ ，函数 $g(t)=f(x+tv)$ 是凸的， $g(t)$ 定义域为 $\{t|x+tv \in dom f\}$ 。

性质3：凸函数在其定义域相对内部是连续的，在相对边界上可能不连续。

1.2 扩展值延伸

扩展值延伸的目的是可以简化符号描述，使用扩展值延伸时不需要明确描述定义域。

如果 $f$ 是凸函数，则其扩展值延伸 $\widetilde{f} : R^n \rightarrow R \cup \{\infty \}$ 如下

$\widetilde{f}=\left\{\begin{matrix}f(x),x \in domf \\ \infty,x\notin domf \end{matrix}\right.$

凹函数的延伸，在其定义域外都是 $-\infty$ 。

1.3 凸函数的一阶条件
假设 $f$ 可微，则函数 $f$ 是凸函数的充要条件是 $dom f$ 是凸集且对于任意 $x, y \in domf$ ，下式成立

$f(y) \geq f(x)+\bigtriangledown f(x)^T (y-x)$

对于严格凸，则是上述中 $x \neq y$ ， $f(y)>f(x)+\bigtriangledown f(x)^T(y-x)$

凹函数则取小于等于，严格凹取小于。

1.4 凸函数的二阶条件

函数 $f$ 二阶可微，即对于开集 $dom f$ 内的任意一点，它的Hessian矩阵或者二阶导数 $\bigtriangledown^2 f$ 存在，则函数 $f$ 是凸函数的充要条件是，其Hessian矩阵是半正定阵：即对于所有的 $x \in dom f$ 有 $\bigtriangledown ^2 f \succeq 0$ 。

对于 $R$ 上的函数，二阶条件简化为 $f''(x) \ge 0$ 。

对于严格凸，对于所有 $x\in domf$ 有 $\bigtriangledown ^2 f(x)\succ 0$ 。

凹函数则取 $\preceq$ ，严格凹取 $\prec$ 。

注意！：在判断函数的凸凹性时，不管是一阶条件还是二阶条件， $domf$ 必须时凸集。

1.5 例子

在R上的函数

指数函数 $\forall a \in R, e^{ax}$ 是凸的

幂函数当 $a \ge 1$ 或 $a \le 0$ 时， $x^a$ 在正实数域上是凸函数，当 $0 \le a \le 1$ 时， $x^a$ 在正实数域上是凹函数

绝对值幂函数当 $p \ge 1$ 时， $|x|^p$ 在R上是凸函数

对数函数 $log x$ 在正实数域上是凹函数

负熵 $xlogx$ 在其定义域上是凸函数

在 $R^n$ 上的例子

范数任意范数是凸函数

最大值函数 $f(x)=max\{x_1,...,x_n\}$ 是 $R^n$ 上的凸函数

二次-线形分式函数 $f(x,y)=\frac{x^2}{y}$ 其定义域为 $dom f= R\times R_{++}=\{(x,y)\in R^2|y>0\}$ 是凸函数

指数和的对数 $f(x)=log(e^{x_1}+...+e^{x_n})$ 在 $R^n$ 上是凸函数

几何平均 $f(x)=(\prod_{i=1}^{n}x_i)^{1/n}$ 在定义域 $R^n_{++}$ 上是凹函数

对数-行列式 $f(x)=logdetX$ 在定义域 $S^n_{++}$ （对称正定矩阵）上是凹函数

BestToolBoxGeng

关注

1
点赞
踩
7

收藏

觉得还不错? 一键收藏
2
评论
Convex Optimization 凸优化学习第三章凸函数（一）

Convex Optimization 凸优化学习第三章凸函数（一）
复制链接

扫一扫

BestToolBoxGeng CSDN认证博客专家 CSDN认证企业博客

码龄5年

1: 原创

160万+: 周排名

185万+: 总排名

1210: 访问

: 等级

11: 积分

3: 粉丝

1: 获赞

2: 评论

7: 收藏

私信

关注

热门文章

Convex Optimization 凸优化学习第三章凸函数（一） 1211

最新评论

Convex Optimization 凸优化学习第三章凸函数（一）
CSDN-Ada助手: 不知道算法技能树是否可以帮到你：https://edu.csdn.net/skill/algorithm?utm_source=AI_act_algorithm

您愿意向朋友推荐“博客详情页”吗？

强烈不推荐
不推荐
一般般
推荐
强烈推荐

提交

最新文章

目录

评论 2

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。