Convex Optimization: 3 Convex functions

最新推荐文章于 2022-11-08 23:19:41 发布
最新推荐文章于 2022-11-08 23:19:41 发布
阅读量612 收藏 4
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37795244/article/details/105900632
版权

这是凸优化第三章的笔记

文章目录

Definition 定义

在这里插入图片描述

d o m   f \mathbf{dom}\ f dom f 意思是 f f f 的 domain （定义域）

也就是说其定义域要是一个凸集

Examples on R 一些例子

在这里插入图片描述

Examples on R n \R^n Rn and R m × n \R^{m\times n} Rm×n

在这里插入图片描述
最后一个是矩阵的最大奇异值（不是一个简单的函数），是凸的。

Restriction of a convex function to a line

在这里插入图片描述
在这里插入图片描述
老师在这里讲了个怎么证明复杂函数凸性的笑话，笑死我了…去看原视频吧

Extended-value extension

在这里插入图片描述

First-order condition

在这里插入图片描述
在这里插入图片描述

Second-order conditions

在这里插入图片描述

Examples

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Epigraph and sublevel set

在这里插入图片描述
在这里插入图片描述
epigraph 指的是曲线上方的点集

Jensen’s inequality

在这里插入图片描述

Operations that preserve convexity

在这里插入图片描述

Positive weighted sum & composition with affine function

在这里插入图片描述

Pointwise maximum

在这里插入图片描述

Pointwise supremum

在这里插入图片描述
在这里插入图片描述

Composition with scalar functions

在这里插入图片描述
在这里插入图片描述

Vector composition

在这里插入图片描述
log ⁡ ∑ i = 1 m exp ⁡ g i ( x ) \log\sum_{i=1}^m\exp{g_i(x)} log∑i=1m​expgi​(x) 这里不能从里向外来判断凸性，首先要根据 log ⁡ ∑ i = 1 m exp ⁡ ( x ) \log\sum_{i=1}^m\exp(x) log∑i=1m​exp(x) 这个函数凸的（见 second-order 的例子那里 log-sum-exp），然后再判断整体是凸的。

Minimization

在这里插入图片描述

Perspective

在这里插入图片描述
在这里插入图片描述

The conjugate function

在这里插入图片描述

Examples

在这里插入图片描述

Quasiconvex functions

在这里插入图片描述

Examples

在这里插入图片描述
在这里插入图片描述
internal rate of return 内部收益率

Properties

在这里插入图片描述
在这里插入图片描述

Log-concave and log-convex functions

在这里插入图片描述
在这里插入图片描述

正态分布的密度函数取 log 之后是一个常数减去一个凸的二次函数，因此是 concave 的

老师还讲了在任意集合上的均匀分布都是 log-concave 的，脑补一下，其概率密度在集合内是常数，在集合外是零，取 log 之后在集合内仍是常数，在集合外是负无穷，想象一下这个图像，它是 concave 的。

Properties of log-concave functions

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Convexity with respect to generalized inequalities

在这里插入图片描述
在这里插入图片描述

wineandchord
关注
Convex Function
落落小方地发卡
10-22 789
说完了凸集，下一个要将的肯定就是凸函数啦~ 凸函数的相关性质在优化中的地位不言而喻~！ 凸函数 f:Rn→Rf: \mathrm{R}^n \to \mathrm{R}f:Rn→R 是凸函数，如果 fff 的定义域是凸集，并且 ∀x,y,θ∈[0,1]\forall x, y, \theta \in [0, 1]∀x,y,θ∈[0,1] 成立： f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y) f(\theta x+(1-\theta )y) \leq \theta f(x) + (1-\theta
Convex Optimization 读书笔记 (3)
qq_39337332的博客
10-29 523
4 Convex optimization problems 4.1 Optimization problems 4.1.1 Basic terminology We use the notation minimize    f0(x)subject to    fi(x)≤0,i=1,...mhi(x)=0,i=1,...p \begin{aligned} {\rm minimize} \ \ \ \ & f
Convex Optimization 凸优化学习 第三章 凸函数（一）
qq_45595516的博客
11-08 1294
Convex Optimization 凸优化学习 第三章 凸函数 （一）
【优化】共轭函数(Conjugate Function)超简说明
热门推荐
shenxiaolu1984的专栏
10-10 4万+
从便于理解的角度介绍共轭函数的概念并推导常用例子。
03 Conex Function凸函数
qq_42153494的博客
03-29 658
03 Conex Function凸函数1 凸函数1.1定义1.2 性质1.2.1 一阶条件1.2.2 二阶条件1.2.3 上镜图（epi）1.2.4 下水平集2 保凸操作2.1非负加权求和2.2 复合仿射映射2.3逐点求最大和逐点上确界2.4 复合2.5 最小化2.6透视函数3 拟凸与共轭 1 凸函数 1.1定义 定义域是凸基，并且对定义域上任意两点都有f(θ1x1+(1−θ1)x2)≤θ1f(x1)+(1−θ1)f(x2)f(\theta_1x_1+(1-\theta_1)x_2)\leq \the
convex optimization
05-17
convex optimization中文版和相关资料 Stephen Boyd, Stanford ... The book begins with the basic elements of convex sets and functions, and then describes various classes of convex optimization problems.
Learning with Submodular Functions- A Convex Optimization Perspective
07-18
文章来源于《Foundations and Trends in Machine Learning》杂志的第6卷，第2-3期，共有145到373页，由INRIA-Ecole Normale Supérieure的Francis Bach撰写。文章通过凸优化的角度来审视子模函数在机器学习中的应用...
Learning with Submodular Functions: A Convex Optimization Perspe
最新发布
03-24
根据提供的文档信息，本文将对《使用子模函数学习：一种凸优化视角》这篇论文中的核心概念、理论框架以及应用场景进行详细的阐述。 ### 子模函数定义与等价定义 子模函数是一类特殊的组合优化问题中的函数，具有...
Convex Optimization
10-12
The book begins with the basic elements of convex sets and functions, and then describes various classes of convex optimization problems. Duality and approximation techniques are then covered, as are...
最优化方法(学习笔记)-第三章凸函数
CS_W98的博客
08-01 3547
凸函数基本性质保凸运算Conjugate functionQuasiconvex functionLog-concave and log-convex function不等关系的凸性 基本性质 保凸运算 Conjugate function Quasiconvex function Log-concave and log-convex function 不等关系的凸性
3 Convex functions
Anne033的博客
11-06 222
维基百科中凸函数的定义 Convex function
GarfieldEr007的专栏
05-27 1万+
From Wikipedia, the free encyclopedia Convex function on an interval. A function (in black) is convex if and only if the region above its graph (in green) is aconve
经济学原理中的数学： 凹函数和凸函数 Concave and convex functions of a single variable
GarfieldEr007的专栏
05-27 6788
Mathematical methods for economic theory Martin J. Osborne   CONTENTS TEXT EXERCISES   3.1 Concave and convex functions of a single variable Definitions The twin notions of concavity
凸(Convex)函数定义
rtygbwwwerr的专栏
12-25 2万+
转自知乎:https://www.zhihu.com/question/20014186 关于Convex Function的解释,个人觉得说得很清楚,故转载记录 作者：匿名用户 链接：https://www.zhihu.com/question/20014186/answer/27194360 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
优化理论（三）凸函数、拟凸函数和保凸运算
goodluckcwl的专栏
03-23 1万+
这一节主要学习凸函数的定义以及性质。了解保凸运算，以及上镜图与下水平集等。这些基础知识看似零乱，然而却是后面的基础。特别是，在实际应用中如果我们能把一个问题转化为凸优化问题，是非常好的一步。而能够这样做的前提，是知道基本的函数的凸性以及有哪些保凸运算。上镜图有助于我们从集合的角度理解这个函数为什么是凸的（集合的保凸运算）；水平集是以函数的形式表示集合，类似于等高线，在历史上是重要的方法。这里我们通...
为什么数学概念中，将凸起的函数称为凹函数？
weixin_30544657的博客
01-08 520
中国大陆数学界某些机构关于函数凹凸性定义和另一些机构不同。那么我们来讲凸函数（convex function）为什么叫做是凸（convex）的：这是因为凸函数与凸集（convex set）有联系，而凸集的定义没有争议。1. 凸函数与凸集通过 sublevel sets 这个概念联系起来。首先来看一个函数的 sublevel sets。对于函数来说，它的-sublevel set 是这样定...
矩阵的二范数_【专题】GAN（二）—— 目标函数的优化
weixin_39876739的博客
11-28 871
编写：果壳屋在第一篇我们了解到，原生的 GAN 采用零和博弈(zero-sum game)的策略，这会导致在训练初期生成器的临梯度消失(gradient vanishing)，训练停止。如果将零和博弈改为非饱和博弈，这虽然能够解决梯度消失的问题，但会导致训练不稳定(instable)。为了解决这两个问题，许多研究者对目标函数的优化做了不同的尝试。上一篇中，我们已经了解到 GAN 的目标...
凸优化简明笔记
zhaohui blog
02-09 348
凸优化 笔记整理
Optimization for Data Science学习笔记-4
weixin_43957565的博客
11-11 1960
课程4 接下来就开始学习具体的问题和解决问题的算法了~ 首先是无约束问题 unconstrained problems 之前学习的回顾，什么是凸集、凸函数、局部最优解 参考：https://blog.csdn.net/qq_16608563/article/details/82757086 1. 无约束问题的最优性条件 optimality condition for unconstrained problems 所谓非线性规划的最优化条件，是指非线性规划模型的最优解所满足的必要条件或者充分条件。 无约束
sequential convex programming
03-28
Sequential convex programming (SCP) is a type of optimization algorithm that solves non-convex optimization problems by iteratively solving a sequence of convex sub-problems. SCP is a combination of ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值