证明Max函数是凸函数

最新推荐文章于 2022-11-07 20:25:47 发布
最新推荐文章于 2022-11-07 20:25:47 发布
阅读量2.7k 收藏 3
点赞数 1
分类专栏： 凸优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jianti9962/article/details/121529240
版权

\begin{aligned} &\max (x 1, x 2)+\max (y 1, y 2) \\ &=\max (x 1+\max (y 1, y 2), x 2+\max (y 1, y 2)) \\ &\geq \max (x 1+y 1, x 2+y 2) \end{aligned}

KangDDD_
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
两个凸函数的最大值仍为凸函数
天天向上的专栏
03-10 1万+
凸函数的定义： 一个凸集内的任意两个点x1与x2，任意t∈[0,1]⇒f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)一个凸集内的任意两个点x1与x2，任意t∈[0,1]⇒f(tx1+(1−t)x2)≤tf(x1)+(1−t)f(x2)一个凸集内的任意两个点 x_1 与 x_2，任意 t\in[0, 1]\Rightarrow f(tx_1+(1-t)x_2)\leq tf(x_...
报童模型关于x^+, x^-, min max 函数凹凸性，期望库存，期望缺货量的性质
天天向上的专栏
02-27 4841
有两个性质比较重要，经常用到： \begin{align*} \min\{s,D\}&=S-(S-D)^{+}\\ \min\{S,D\} &\text{~~is concave function}\\ (S-D)^{+} &\text{~~is convex function} \end{align*} \begin{equation}\min\{x-y,0\}=x-...
凸优化
weixin_30813225的博客
06-23 182
凸优化 由于在SVM等各种地方都会用凸优化来解决问题，所以本篇博客将系统的介绍凸优化如何做，以及一些常见的问题。 基本概念 仿射集(Affine Set) 定义：通过集合C中任意两个不同点的直线仍然在集合C内，则称集合C为仿射集. \(\forall x_{1},x_{2} \in C, \forall \theta \in R, 则x = \theta * x_{1} + (1 - \theta...
什么是凸函数及如何判断一个函数是否是凸函数
weixin_30727835的博客
08-07 2万+
t元j 一、什么是凸函数 　对于一元函数\(f(x\))，如果对于任意\(t\epsilon[0,1]\)均满足：\(f(tx_1 + (1-t)x_2) \leq tf(x_1) + (1-t)f(x_2)\)，则称\(f(x)\)为凸函数(convex function) 　如果对于任意\(t\epsilon(0,1)\)均满足：\(f(tx_1 + (1-t)x_2) < tf(...
凸函数的判断（中）： 凸函数复合与CVX中的凸函数辨识
B417科研笔记
11-02 4798
前言 在上一篇我们总结了凸函数的一些基本性质和重要的一阶二阶条件， 在这一节，我们结合 CVX 工具包的一些使用定义来深入理解 如何快速判断函数是否为凸。 这有两点意义： 1. 学会正确地使用CVX工具包， 防止报错。 2. 学会判断哪些函数是凸函数 —— 既然 CVX可以判断你输入的问题是否为凸问题， 那么我们只需要学习其逻辑即可。 CVX 语法 我们直接从CVX的语法中对凸函数的辨别进行学习。 （最基本的凸函数，我们可以通过上篇所讲的 定义、一阶二阶条件得到， 本篇主要聚焦于 如同从基本的凸函数组合衍生
凸优化第三章凸函数 3.1 基本性质和例子
hyl1181的博客
12-16 4712
3.1 基本性质和例子 定义 扩展值延伸 一阶条件 二阶条件 例子 下水平集 上境图 Jensen不等式及其扩展 不等式 定义 函数f是凸函数，当f的定义域S是凸集，且 严格凸函数： 从几何上来看，如下图，函数f上的任意两点之间的弦都在函数图像之上。 函数f是凸函数，当且仅当在与函数f的定义域S相交的任何直线上，f均是凸的。 当且仅当g(t)是凸的，f(x)是凸的。 利用此性质，可以将函数限制在直线上判断其凹凸性。 扩展值延伸 扩展值延伸，其实就是对函数f的扩展，对
工程优化第二章总结
csdn_yws的博客
11-07 1929
工程优化第二章基本概念和理论基础总结
Benchmark functions 优化算法测试函数
03-13
5. **Pairs.m**：Pairs函数（也称为Two-Max函数）用于测试并行或分布式优化算法，因为它包含两个独立的全局最优解，可以同时被不同的优化策略找到。 6. **FourPeaks.m**：此函数具有四个明显的局部最小值，测试算法...
岭函数Bandit凸优化的极大极小遗憾_Minimax Regret for Bandit Convex Optimisatio
01-30
证明过程中，作者首先指出如果函数f满足(a)-(d)并且可以表示为f(x) = g(⟨x, θ⟩)，那么g在闭区间{⟨x, θ⟩ : x ∈ K}上也是凸且Lipschitz连续的。然后，通过分析和推导，得出了上界Rn的理论结果。 总的来说，这...
规划，目标函数，最值求解
03-18
例如，在生产计划问题中，目标函数是max f=70x1+120x2，约束条件包括9x1+4x2≤3600等，我们可以设置相应的参数调用`linprog`来找到最优生产数量x1和x2。 对于投资问题和运输问题，也可以类似地构建目标函数和约束...
matlab常见函数绘制 (2).docx
09-14
Levy函数是测试优化算法性能的一个非凸函数，其形式为： \[ F_{Levy}(x) = \sin(\pi y_1) + \sum_{i=1}^{D-1}(y_i - 1)^2(1 + 10\sin^2(\pi(y_{i+1} + 1))) \] 其中，\( y_i = 1 + (x_i - 1)/4 \)。在MATLAB中，...
拟凸问题转化为凸问题可行性问题的二分算法
03-15
拟凸函数是相对于凸函数的一个概念。如果一个函数f在其定义域内，任意两点x和y以及任意的0≤λ≤1，满足f(λx + (1-λ)y) ≤ max{f(x), f(y)}，那么f被称为拟凸函数。而凸函数则要求在定义域内任何线性组合上都保持...
​SquarePlus：可能是运算最简单的ReLU光滑近似
jacke121的专栏
01-21 1833
ReLU 函数，也就是max(x,0) ，是最常见的激活函数之一，然而它在处的不可导通常也被视为一个“槽点”。为此，有诸多的光滑近似被提出，比如 SoftPlus、GeLU、Swish 等，不过这些光滑近似无一例外地至少都使用了指数运算（SoftPlus 还用到了对数），从“精打细算”的角度来看，计算量还是不小的（虽然当前在 GPU 加速之下，我们很少去感知这点计算量了）。最近有一篇论文《Squareplus: A Softplus-Like Algebraic Rectifier》[1]提了一个...
常见的几个凸函数与凹函数
热门推荐
天天向上的专栏
02-24 4万+
参照 《convex optimization》这本书，总结几个常见的凸函数和凹函数。 （定义域与参数都是实数）。 指数函数 eaxe^{ax}eax 为凸函数 幂函数 xax^{a}xa 在 a≥1a\geq1a≥1 或 a≤0a\leq 0a≤0 时是凸函数，在 0&amp;amp;amp;lt;a&amp;amp;amp;lt;10&amp;amp;amp;lt;a&amp;amp;amp;lt;10&amp;amp;lt;a&amp;amp;l
凸优化学习-（十）凸函数的例子
欢迎你
03-12 5701
凸优化学习 今天是凸函数的举例和讨论 学习笔记 一、指数函数 形如： f(x)=eax f(x)=e^{ax} f(x)=eax 是凸函数。 二、幂函数 形如： f(x)=xa    x∈R++ f(x)=x^a \ \ \ \ x\in R_{++} f(x)=xa    x∈R++​ 其二阶偏导为： ∇2f(x)=...
凸函数1（斯坦福凸优化笔记5）
xingce_cs的博客
07-03 1万+
本节介绍了凸函数，举了一些凸函数的例子，给出了一些判断凸函数的方法。
判断函数凹凸性
qq_41758867的博客
05-18 8279
一阶条件 假设fff可微，则函数fff是凸函数的充要条件是domfdom fdomf是凸集且对于任意x,y∈domfx, y∈domfx,y∈domf, f(y)⩾f(x)+∇f(x)T(y−x)f(y) \geqslant f(x)+\nabla f(x)^{T}(y-x)f(y)⩾f(x)+∇f(x)T(y−x)成立。 二阶条件 假设fff二阶可微，则函数fff是凸函数的充要条件是：其HessianHessianHessian矩阵是半正定阵，即对于所有的x∈domfx∈domfx∈domf,有∇2f(
保凸运算以及一些复合函数的凹凸性判断
qq_41758867的博客
05-18 8536
非负加权求和 1.如果函数fff是凸函数且a≥0a≥0a≥0,则函数afafaf也为凸函数。如果函数f1f1f1和f2f2f2都是凸函数，则它们的和f1+f2f1+ f2f1+f2也是凸函数。 将非负伸缩以及求和运算结合起来，函数f=w1f1+⋯+wmfmf=w_{1} f_{1}+\dots+w_{m} f_{m}f=w1​f1​+⋯+wm​fm​是凸函数。 这个性质可以扩展至无限项的求和以及积分的情形。例如，如果固定任意y∈Ay∈\mathcal{A}y∈A,函数f(x,y)f(x,y)f(x,y)关于
从0到场均50万GMV，鞋服品牌的视频号直播打法3. 直播场次报表.xlsx
最新发布
07-13
从0到场均50万GMV，鞋服品牌的视频号直播打法3. 直播场次报表.xlsx
对率回归求解的函数是凸函数的证明过程
03-27
对率回归的目标函数是一个典型的最大似然估计问题，可以表示为： $$ \max_{\beta}\sum_{i=1}^{n}[y_i\log(\frac{1}{1+e^{-\beta^Tx_i}})+(1-y_i)\log(\frac{e^{-\beta^Tx_i}}{1+e^{-\beta^Tx_i}})] $$ 其中，$y_i$表示第$i$个样本的标签，$x_i$表示第$i$个样本的特征向量，$\beta$表示模型参数。 我们可以先证明这个目标函数是一个凸函数的充分条件是其二阶导数为正定矩阵。 对目标函数求一阶导数： $$ \frac{\partial L(\beta)}{\partial \beta_j}=\sum_{i=1}^{n}(y_i-\frac{e^{\beta^Tx_i}}{1+e^{\beta^Tx_i}})x_{ij} $$ 对目标函数求二阶导数： $$ \begin{aligned} \frac{\partial^2 L(\beta)}{\partial \beta_j\partial \beta_k}&=-\sum_{i=1}^{n}\frac{\partial}{\partial\beta_k}(\frac{e^{\beta^Tx_i}}{(1+e^{\beta^Tx_i})^2})x_{ij}x_{ik}\\ &=-\sum_{i=1}^{n}(y_i-\frac{e^{\beta^Tx_i}}{1+e^{\beta^Tx_i}})(1-\frac{e^{\beta^Tx_i}}{1+e^{\beta^Tx_i}})x_{ij}x_{ik} \end{aligned} $$ 令$X$表示$n\times p$的样本特征矩阵，$Y$表示$n\times 1$的样本标签向量，则二阶导数可以表示为： $$ \frac{\partial^2 L(\beta)}{\partial \beta_j\partial \beta_k}=-X^T\Sigma X $$ 其中， $$ \Sigma=diag(\frac{e^{\beta^Tx_i}}{(1+e^{\beta^Tx_i})^2})-diag(\frac{e^{\beta^Tx_i}}{1+e^{\beta^Tx_i}})(1-diag(\frac{e^{\beta^Tx_i}}{1+e^{\beta^Tx_i}})) $$ 因为$\Sigma$是一个对角线元素为非负数的矩阵，所以只需要证明$X^T\Sigma X$是一个正定矩阵即可证明目标函数是一个凸函数。 对于任意非零向量$z\in R^p$，有： $$ z^TX^T\Sigma Xz=\sum_{i=1}^{n}(z^Tx_i)^2\frac{e^{\beta^Tx_i}}{(1+e^{\beta^Tx_i})^2}-\sum_{i=1}^{n}(z^Tx_i)^2\frac{e^{\beta^Tx_i}}{1+e^{\beta^Tx_i}}(1-\frac{e^{\beta^Tx_i}}{1+e^{\beta^Tx_i}}) $$ 令$p_i=\frac{e^{\beta^Tx_i}}{1+e^{\beta^Tx_i}}$，则上式可以进一步化简为： $$ \begin{aligned} z^TX^T\Sigma Xz&=\sum_{i=1}^{n}(z^Tx_i)^2p_i(1-p_i)\\ &\geq \frac{1}{4}\sum_{i=1}^{n}(z^Tx_i)^2\\ &=\frac{1}{4}z^TX^TXz \end{aligned} $$ 其中，第一个不等式使用了$p(1-p)\leq \frac{1}{4}$，第二个不等式使用了柯西-施瓦茨不等式。 因此，$X^T\Sigma X$是一个正定矩阵，从而证明了目标函数是一个凸函数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值