强对偶定理的证明_函数的光滑化——从原始与对偶出发

最新推荐文章于 2023-06-26 01:45:19 发布
最新推荐文章于 2023-06-26 01:45:19 发布
阅读量1.1k 收藏 2
点赞数 1
文章标签： 强对偶定理的证明
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_34640051/article/details/113367300
版权
本文详细介绍了函数的光滑化定义及其重要性，特别是针对非光滑函数的Moreau proximal smoothing技术。通过对Moreau envelope的性质分析，证明了它是一种有效的光滑逼近函数，并探讨了其在优化算法中的应用和对收敛性的影响。
摘要由CSDN通过智能技术生成

bccdb9d1b3bedccfb93ca4e1ea8b02cf.png

一、光滑化定义

函数的光滑化是指对一个非光滑函数

equation?tex=f，我们得到一个光滑的函数，假设是
equation?tex=f_%7B%5Cmu%7D 。 这个
equation?tex=f_%7B%5Cmu%7D 要满足两个条件，首先得是光滑的，其次就是不能和原函数
equation?tex=f 差太多，这个是很好理解的。接下来我们正式的定义一下可光滑化（smoothable）

定义1.1. 给定一个凸函数

equation?tex=f ，我们称其为
equation?tex=%28%5Calpha%2C%5Cbeta%29 -smoothable的，如果存在一个凸函数
equation?tex=f_%7B%5Cmu%7D 使得满足
  1. equation?tex=f_%7B%5Cmu%7D 是
    equation?tex=%5Cfrac%7B%5Calpha%7D%7B%5Cmu%7D 光滑的
  2. equation?tex=f_%7B%5Cmu%7D%28x%29+%5Cleq+f%28x%29+%5Cleq+f_%7B%5Cmu%7D%28x%29+%2B+%5Cbeta+%5Cmu

并且称

equation?tex=f_%7B%5Cmu%7D 为
equation?tex=f 在参数
equation?tex=%28%5Calpha%2C%5Cbeta%29 下的
equation?tex=%5Cfrac%7B1%7D%7B%5Cmu%7D 光滑逼近。

我们来分析一下这个定义：

  • 第一个条件是光滑，第二个条件是逼近，合起来就是光滑逼近。
  • 再来看下这个
    equation?tex=%5Cmu . 当
    equation?tex=%5Cmu 变大的时候，
    equation?tex=%5Cfrac%7B%5Calpha%7D%7B%5Cmu%7D 变小，那么
    equation?tex=f_%7B%5Cmu%7D 就更加的光滑（光滑系数越小越光滑），但同时
    equation?tex=%5Cbeta+%5Cmu 变大，导致不够逼近。 所以说
    equation?tex=%5Cmu
最低0.47元/天 解锁文章
吴亦渊
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器人中的数值优化（二十）——函数的光滑化技巧
慕羽★的博客
10-03 1411
本系列文章主要是我在学习《数值优化》过程中的一些笔记和相关思考，主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等，本系列文章篇数较多，不定期更新，上半部分介绍无约束优化，下半部分介绍带约束的优化，中间会穿插一些路径规划方面的应用实例
新时代2021年人工智能必备数学基础：高等数学编绘（4）
m0_54349408的博客
01-07 546
如果点击有误：https://github.com/LeBron-Jian/DeepLearningNote 这里我打算补充一下机器学习涉及到的一些关于泰勒公式与拉格朗日的知识点。 （注意：目前自己补充到的所有知识点，均按照自己网课视频中老师课程知识点走的，同时一些公式是网友辛辛苦苦敲的，这里用到那个博客均在文末补充地址，不过这里首先表示感谢！！） （特别感谢此博客（如何通俗地解释泰勒公式）：https://www.zhihu.com/question/21149770/answer/111173412）
机器学习笔记--微积分
东月之神
08-02 3520
极限： 设f(x)定义在x0的一个可能不包括x0的区间上，我们说当x趋于x0时，f(x)趋于极限L，并记为： \lim_{x_ \to {x_{0}}}f(x)=L 极限法则： 如果L, M，c，k都是实数，且 \lim_{x_ \to {c}}f(x)=L， \lim_{x_ \to {c}}g(x)= M，那么满足如下法则： 和法则 \lim_{x_ \to {c}}(
凸优化——详解原函数的对偶函数、对偶问题和共轭函数之间的关系（我尽力了）
weixin_44382951的博客
11-21 7698
一、 原函数的对偶函数和共轭函数 对偶函数 原函数 ==> 拉格朗日函数 ==> 对偶函数（拉格朗日对偶函数） f0f_0f0​ ==>L(x,λ\lambdaλ,v) ==>D(λ\lambdaλ,v) 这里就不具体写形式了，一定要搞清楚各个函数的变量是哪些 共轭函数/函数的共轭 我一下午花了很多很多时间看勒让德变换，终于搞懂共轭函数是啥了！ B站此小姐姐的数学实在太好了 维基-勒让德变换 f∗(y)=sup(yTx−f(x))f^*(y)=sup(y^Tx-f
强对偶定理的证明_笔记:对偶原则与直线型(1)M-C定理
weixin_29602351的博客
01-28 922
有了个想法,可惜时间不够,内容又太多太复杂,可能要到2/05之后才有时间.这段期间几乎不再上知乎了.所以先记在笔记本上吧.一、定义本文仅讨论平面几何射影变换：有限次中心投影的复合。仿射变换：一次线性变换复合一个平移，相当于平行投影。单比： 交比： 对偶元素：在平面几何内点与直线互为对偶元素。对偶命题：把命题中所有点按一定方式替换为直线，所有直线按一定方式替换为点，并把“过一点作一直线”和“在一直线...
强对偶定理的证明
wjw1993year的博客
05-16 7230
强对偶性的证明 本博客是参考资料的笔记整理：https://www.bilibili.com/video/BV1dJ411B7gh?t=185&p=38 1. 预备知识 定义 1 凸集：某点集D是凸集，是指对于任意两点x1x_1x1​, x2∈Dx_2∈ Dx2​∈D 和0≤λ≤10 ≤ λ ≤ 10≤λ≤1，有： x=λx1+(1−λ)x2∈D(1) x=\lambda x_{1}+(1-\lambda) x_{2} \in D \tag{1} x=λx1​+(1−λ)x2​∈D(1) 以下是
强对偶定理证明
weixin_44888196的博客
07-16 300
强对偶定理证明过程
强对偶定理的证明_泛函随记（二）Frechet-Riesz表现定理
weixin_39750410的博客
01-16 1057
开头先摘了个要的这篇文章先后介绍几个内容正交补射影定理对偶空间（共轭空间）表现定理后续其中，在对偶空间中，我对这个空间提出了一种理解方式：将泛函视为一种分类方式。然后列出几个比较形象的例子。借助种理解，并宏观地解释了表现定理的的用处。前面的部分主要以介绍概念为主。其他涉及证明的部分我均放在引用框内给出，一些步骤用括号+斜体字给出说明。先提个概念 正交补设 是Hilbert空间 的线性流形，定义...
线性规划强对偶证明
欢迎来到道的世界
02-01 2337
线性规划弱对偶性  给定矩阵A∈Rm×nA\in \mathbb{R}^{m\times n}A∈Rm×n，向量x,c∈Rnx,c\in \mathbb{R}^nx,c∈Rn，向量b,y∈Rmb,y\in \mathbb{R}^mb,y∈Rm，则有如下线性规划min⁡x{c⊤x∣Ax=b,x≥0}\min\limits_{x}\{c^{\top}x|Ax=b,x\ge 0\}xmin​{c⊤x∣Ax=b,x≥0}其中x∗x^{*}x∗为以上线性规划的最小值，其对偶形式表示为max⁡y{b⊤y∣A⊤y≤c}\
对偶定理的推导
03-10
弱对偶定理表达的是对偶问题最优值与原始问题最优值之间的下界关系，而强对偶定理则是在一定条件下，指出强对偶定理成立时，原始问题与对偶问题的最优值是相等的。为了使强对偶定理成立，通常需要满足Slater条件，这...
论文研究 - 非光滑多目标规划问题的充分性和Wolfe型对偶
05-26
本文考虑了一类非光滑的多目标规划问题。 我们使用Clarke次微分工具介绍了不可微局部Lipschitz函数的II型阶凸新概念。 新函数用于为一类非光滑... 利用充分的最优性条件，建立了Wolfe型对偶模型的弱对偶和强对偶定理。
非线性规划的对偶定理
05-19
### 非线性规划的对偶定理详解 #### 一、引言 非线性规划作为优化理论中的一个重要分支，在解决实际问题时扮演着关键角色。它涉及寻找一个函数（目标函数）的极值，同时满足一组约束条件。在非线性规划中，对偶定理...
对偶变换
02-03
从一个逻辑函数变换为它的对偶函数叫做对偶变换。与和或、同或和异或是两对偶的运算，原变量和反变量是对偶的变量，“0”和“1”是对偶的常量。运算符和变量总是成对地定义的，称为对偶的运算符和对偶的逻辑量，这种...
《机器学习对偶性》报告
11-29
Fenchel对偶函数f ∗(y)可以通过求解最大化问题得到：f ∗(y) = inf_x [f(x) - ⟨x, y⟩]。 对于特定的函数例子，如指示函数IC，其共轭函数是集合C的支持函数。对于f(x) = ⟨x, log x⟩，其共轭函数是指数函数的...
【人工智能的数学基础】函数光滑化
最新发布
禅与计算机程序设计艺术
06-26 4784
综上所述，需要对非光滑函数进行光滑近似的方法。本文首先对函数的光滑化进行定义，并介绍几种对函数进行光滑化的方法。光滑函数(smooth function)是指在其定义域内无穷阶数连续可导的函数。函数的光滑化是指对于一个非光滑函数fff，寻找一个光滑函数fμf_{\mu}fμ​，使得fμf_{\mu}fμ​是fff的光滑逼近。一个非光滑函数是否可光滑化(smoothable)定义如下：给定一个凸函数fff，我们称其为(α,β)(\alpha,\beta)(α,β)-smoothable的，如果存在一个凸函数f
优化理论系列1——拉格朗日对偶及强弱定理证明（一）
热门推荐
我爱优化
12-09 1万+
拉格朗日对偶 强弱定理
UA SIE545 优化理论基础4 对偶理论简介3 强对偶
一个不愿透露姓名的博客
11-26 401
UA SIE545 优化理论基础4 对偶理论简介3 强对偶 上一讲介绍了弱对偶，弱对偶满足 inf⁡{f(x):x∈X,g(x)≤0,h(x)=0}≥sup⁡{θ(u,v):u≥0}\inf\{f(x):x \in X,g(x) \le 0,h(x)=0\} \ge \sup\{\theta(u,v):u \ge 0\}inf{f(x):x∈X,g(x)≤0,h(x)=0}≥sup{θ(u,v):u≥0} 如果这个式子取等，那就是强对偶，原问题与对偶问题的最优值相等。相比弱对偶，我们肯定是更希望有强对偶的
对偶理论说明
qq_37668179的博客
04-05 2672
对偶理论 强对偶 弱对偶 实例
Moreau Decomposition 和 共轭次梯度定理
AugustMoore的博客
03-16 1741
在学习临近梯度(proximal gradient)中遇到的问题。证明 Moreau Decompositon。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值