对凸优化（Convex Optimization）的一些浅显理解

最新推荐文章于 2024-05-27 06:30:00 发布
最新推荐文章于 2024-05-27 06:30:00 发布
阅读量2.9k 收藏 18
点赞数
文章标签： 算法 机器学习 人工智能 python 编程语言
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247558590&idx=2&sn=a6b0b03612a445a6b8f0fb852ea690e9&chksm=96eb3a3ea19cb328252cf2d10685dc31f823dc7dbe5156e91791b9a3ccc98314b79087c66df9&scene=126&&sessionid=0
版权

27e4efd6caed35c21f3cdab4cb362ce3.gif

©作者 | 李航前

单位 | EPFL

研究方向 | 计算机图形学与三维视觉

最近学习了一些凸优化课程，整理笔记的同时写下一些自己的理解，向着头秃的道路上越走越远。

凸优化是应用数学的一个基本分支，几乎在工程、基础科学和经济学的所有领域都有应用。例如，如果不理解凸优化的对偶理论，就不可能完全理解统计学习中的支持向量机（SVM）、电力市场中的节点定价、经济学中的基本福利定理或两人零和博弈中的纳什均衡。在计算机 AI 算法学习中，凸优化也是必要的一环。

先来做一些铺垫，引用自 EPFL 的凸优化课程，首先来看一个数学优化问题，如下图，该问题是为了寻找目标函数的最小值，其中涉及了目标函数，决策变量，可行域等概念。

08ad2628fc2eeff39a335072309f4130.png

▲ from MGT-418 Convex Optimization 

下面在说下确界的问题，下确界一定有（可以是负无穷）但是最小值不一定有。

9fe6e63fc851a2d3bd055106d51d07a5.png

▲ from MGT-418 Convex Optimization

abfadbdc917b30191b553e3102a4532b.png

▲ from MGT-418 Convex Optimization

以上说了全局最小值，但是一些情况下没有办法获得全局最小值，所以就要去计算局部最小值。它叫 优化问题。

5335c8635ad0ac39112b63652cad9db5.png

▲ from MGT-418 Convex Optimization

下图可视化展示了全局最小值和局部最小值的区别。

9603842e1b25b18c13cc2da495acca9d.png

有了一些直观的认识和浅显的理解，下面我们来具体聊凸函数的概念及判定方法、凸集、常见目标函数。

1533114b101bdc8ddd707aa0cb975275.png

凸集和凸函数

从函数的凹凸性而言，我们通常把函数分为凸函数和非凸函数。凸函数是有且只有全局最优解的，而非凸函数可能有多个局部最优解，这些特性我会在下文中进行详细解释。在前言中，我提到过优化问题是机器学习模型中的核心部分，而针对不同模型，有不同的方法论对其目标函数进行优化。例如针对逻辑回归、线性回归这样的凸函数，使用梯度下降或者牛顿法可以求出参数的全局最优解，针对神经网络这样的非凸函数，我们可能会找到许多局部最优解。

不难看出，我们希望在实际解决问题过程中，都希望我们建立的目标函数是凸函数，这样我们不必担心局部最优解问题，但实际上，我们遇到的问题大多数情况下建立的目标函数都是非凸函数，因此我们需要根据场景选择不同的优化方法。

bb59f71d0d6337247fb54ac4bf571b30.png

凸优化定义

就定义而言，凸优化是：在最小化（最大化）的优化要求下，目标函数是凸函数且约束条件所形成的可行域集合是一个凸集的优化方法，因此凸优化的判定条件有两个，1.函数定义域是凸集 2.目标函数是凸函数。

凸集的定义：假设对于任意 x, y ∈ C and 任意参数 α ∈ [0, 1], 我们有 αx + (1 − α)y ∈ C，集合 C 为凸集。

凸集的理解：对凸集的理解，我们可以分别从理论定义的角度和函数图像的角度两方面理解。从定义上讲，对于集合 C 中的任意两个元素 x 和 y，需要满足 αx + (1−α)y 的值也需要在集合 C 中；从函数图像角度讲，这个定义中的式子含义是，x、y 两点连线上的任意一个点都需要属于集合 C，如下图所示，任何证明集合是凸集的方法都可以通过定义和函数图像两方面进行。

1235349f1f305ab7a42828ba5e1ebffb.png

凸集的性质：两个凸集的交集也是凸集。（注意，两个凸集的并集就不一定还是凸集了）

常见凸集与证明方法：

aebc71d344aa8e4e486a7251e2088cfe.png

凸函数定义：函数 f 的定义域为凸集，对于定义域里的任意 x, y，函数满足：

586e08abe993016282bdceb925c17144.png

f122cd0baf0c4120a3440ca049e23c4f.png

f86e0585f8da9b3adf0f172c9e34208a.png

凸函数与凹函数之间的关系：如果 f(x) 是凸函数，则 -f(x) 是凹函数

凸函数的证明方法（函数定义域为凸集的前提下）：

02344238b773bdeee8236c4ca97657b9.png

常见凸函数及证明

ebd89310813d29071a0c760e609f0302.png

常见目标函数

针对一个 AI 问题，我们都可以将 AI 问题拆解为建立模型+优化模型这两块内容的，对于任何一个 AI 问题，其目标函数都可以用以下形式表示：

5ccabd6f2ce2d4306a41ce5e6d987cb2.png

我将解决业务问题中的常用套路称为算法思维，并总结了以下 4 个重要步骤：

  1. 将业务场景中需要解决的问题转化为数学问题，并写出严格的数学模型（目标函数）

  2. 针对写出的数学模型判断凹凸性

  3. 根据目标的函数的凹凸性判断问题类型（如果目标函数是凸函数，我们需要判断该函数所属问题类型，常见的问题类型有 Linear Programming、Quadratic Programming 等；如果目标函数是非凸函数，也需要判断其所属问题类型，常见有 Setcover Problem，Max flow Problem 等）

  4. 根据不同的问题类型使用不同的优化方法论解决问题。

其实在实际解决问题的过程中，其实大家都不太会在意第 1,2 个步骤点，可能都会直接通过经验去查找相应的工具解决问题，但是这样的解决思路是不太好的，因为在这个过程中，我们可能不知道需要解决的问题和我们选择的工具是否匹配，如果结果不太理想，我们可能也不知道其中的原因。但是如果我们在解决问题前，定义了严格的目标函数，我们不仅可以针对该目标函数选择相应的优化方法，也可以根据业务场景，对目标函数进行相应调整，增加项目的成功率。

而实际工作中常见的目标函数大概有以下：

f84a75d09effe504177401da223012d0.png

outside_default.png

参考文献

outside_default.png

[1] EE-556：https://moodle.epfl.ch/course/view.php?id=14220

[2] MGT-418：https://moodle.epfl.ch/course/view.php?id=15778

[3] AI工程师必备技能-凸优化介绍：https://www.jiqizhixin.com/articles/2019-01-23-15

特别鸣谢

感谢 TCCI 天桥脑科学研究院对于 PaperWeekly 的支持。TCCI 关注大脑探知、大脑功能和大脑健康。

更多阅读

5dfda2f69a7b4b1b5246a3e28576fbcd.png

bfe9ab96dc0fa679a3f9cb17e17dcedb.png

83d72918ddae896ea50f5a11e0d3cf86.png

0d85cb0a31c907f2187e707076e68eb8.gif

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

99ef653780e7282327d8222ac0cd73e9.png

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

69b09b3ac8a8025e6553a8c986cfab16.png

PaperWeekly
关注
  • 0
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
关于凸优化
aliceyangxi1987的博客
06-09 3970
本文结构： 凸优化有什么用？ 什么是凸优化？ 凸优化有什么用？鉴于本文中公式比较多，先把凸优化的意义写出来吧，就会对它更有兴趣。我们知道在机器学习中，要做的核心工作之一就是根据实际问题定义一个目标函数，然后找到它的最优解。不过求解这种优化的问题其实是很难的，但是有一类问题叫做凸优化问题，我们就可以比较有效的找到全局最优解。例如，SVM 本身就是把一个分类问题抽象为凸优化问题，利用凸优化的各种工具（
凸优化 Convex Optimization by Stephen Boyd
11-25
这有助于读者掌握凸优化的实用技巧，并加深对理论的理解。 此外，"非扫描版"意味着读者可以方便地阅读和检索电子版内容，而英文原版则保留了作者的原始表述，使读者能够接触到最原始的思想和观点。对于学习者来说，...
机器学习凸优化 Convex Optimization for Machine Learning
12-20
机器学习凸优化，379页pdf，Convex Optimization for Machine Learning 介绍了凸优化，这是一个可以在计算机上高效解决的强大且易于处理的优化问题。本书的目标是帮助读者理解什么是凸优化，以及如何将其应用于更广泛的实际场景，特别是机器学习。
凸优化1:凸优化(Convex Optimization)介绍
Anhongzhan的博客
01-21 923
中科大凸优化课程之课程介绍
AI学习指南数学工具篇-凸优化在支持向量机（SVM）中的应用
最新发布
俞兆鹏的博客
05-27 1521
在本文中，我们详细介绍了凸优化在支持向量机中的应用。首先，我们介绍了凸集和凸函数等凸优化的基本概念，然后详细介绍了凸优化在支持向量机优化问题中的应用，并且给出了详细的示例。通过本文的学习，读者可以深入理解凸优化在支持向量机中的重要性和功用，对机器学习中的凸优化问题有更深入的认识。希望本文对读者对凸优化和支持向量机的学习有所帮助，也希望读者能够通过本文的学习进一步深入理解机器学习算法的数学原理和应用方法。
今天开始学Convex Optimization：引言、第1章基本概念介绍
Bin 的专栏
02-09 4626
Convex Optimization 凸优化书第一节，introduction。凸优化问题：本书主要介绍凸优化问题，定义是：对于目标函数以及约束函数都是convex的优化问题，称为convex optimization问题
凸优化（Quasi convex optimization）与梯度下降（Grad descent）
a2333333_的博客
05-12 3265
本文介绍了凸优化思想，解释了什么是凸函数等背景知识，解释了凸优化思路；同时对梯度下降法进行了详细的介绍。
对凸优化概念的理解
Yujian2563的博客
09-05 1396
文章目录基本概念什么是凸优化什么是凸函数什么是凸集进阶凸优化到底是干嘛的？最小二乘也是一种凸优化全局最优化与局部最优化 基本概念 什么是凸优化 【百度百科定义】凸优化，或叫做凸最优化，凸最小化，是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题。 凸优化这个概念实际在研究中经常会遇到。包括在机器学习、控制领域等等。最小二乘其实就是一种通过凸优化来实现的问题。 什么是凸函数 凸表明的是下凸，也就是上凹，直观地讲，函数形为 即为凸函数。 什么是凸集 【百度百科】令S是实数上的线性空间，或者
凸优化概述
qq_38151401的博客
07-28 4048
目录 凸优化概述 1 概述 2 凸集 3 凸方法 3.1 凸性的一阶条件 3.2 凸性的二阶条件 3.3 詹森不等式 3.4 分段集 4 凸优化问题 凸优化概述 1 概述 也就是说，给定一个函数，我们想找到使最小化(或最大化)。目前已有的方法包含：最小二乘、逻辑回归和支持向量机。然而，对于一类特殊的优化问题称为凸优化问题，我们可以在很多情况下有效地找到全局解。 2 ...
Code.zip_convex optimization_matlab 凸优化_凸优化
07-15
通过学习和运行这些例程，我们可以深入理解凸优化的基本概念，掌握如何在Matlab中实现各种凸优化算法。 在Matlab中，凸优化的实现通常依赖于内置的优化工具箱（如`fmincon`、`fminunc`等）或者专门的凸优化库，例如...
Convex Optimization_Boyd_英文版_凸优化_王会宁译_中文版
12-27
Convex Optimization 英文版 Boyd著；凸优化 中文版 王会宁译；中文版讲义；英文版答案等一系列资料都有。Convex optimization problems arise frequently in many different fields. This book provides a comprehensive introduction to the subject, and shows in detail how such problems can be solved numerically with great efficiency. The book begins with the basic elements of convex sets and functions, and then describes various classes of convex optimization problems. Duality and approximation techniques are then covered, as are statistical estimation techniques. Var
cocp:随附论文“学习凸优化控制策略”的示例的源代码。-Source code learning
03-25
学习凸优化控制策略 该存储库附带了的论文。 它包含IPython笔记本中示例的源代码。 我们的示例使用Python包通过凸优化问题进行区分。 抽象的 在各种应用程序中使用的许多控制策略通过解决取决于当前状态和某些参数的凸优化问题来确定输入或操作。 通过更改优化问题中的参数（例如线性二次调节器权重）来调整这些类型的控制策略，以获得通过特定于应用的指标判断的良好性能。 我们的论文介绍了一种通过使用性能指标相对于参数的近似梯度来调整参数来自动执行此过程的方法。 我们的过程依赖于最近开发的方法，这些方法可以有效地评估凸优化问题的解关于其参数的导数。 引用 @article{agrawal2019cocp, author = {Agrawal, Akshay and Barratt, Shane and Boyd, Stephen and Stellato, Bartolome
Convex Optimization
11-10
非常经典，我们教材就用的这个！该版本非常清晰，强烈推荐！ Preface xi 1 Introduction 1 1.1 Mathematical optimization . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Least-squares and linear programming . . . . . . . . . . . . . . . . . . 4 1.3 Convex optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.4 Nonlinear optimization . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.5 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.6 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 I Theory 19 2 Convex sets 21 2.1 Affine and convex sets . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.2 Some important examples . . . . . . . . . . . . . . . . . . . . . . . . . 27 2.3 Operations that preserve convexity . . . . . . . . . . . . . . . . . . . . 35 2.4 Generalized inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . 43 2.5 Separating and supporting hyperplanes . . . . . . . . . . . . . . . . . . 46 2.6 Dual cones and generalized inequalities . . . . . . . . . . . . . . . . . . 51 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 3 Convex functions 67 3.1 Basic properties and examples . . . . . . . . . . . . . . . . . . . . . . 67 3.2 Operations that preserve convexity . . . . . . . . . . . . . . . . . . . . 79 3.3 The conjugate function . . . . . . . . . . . . . . . . . . . . . . . . . . 90 3.4 Quasiconvex functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 3.5 Log-concave and log-convex functions . . . . . . . . . . . . . . . . . . 104 3.6 Convexity with respect to generalized inequalities . . . . . . . . . . . . 108 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 viii Contents 4 Convex optimization problems 127 4.1 Optimization problems . . . . . . . . . . . . . . . . . . . . . . . . . . 127 4.2 Convex optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 4.3 Linear optimization problems . . . . . . . . . . . . . . . . . . . . . . . 146 4.4 Quadratic optimization problems . . . . . . . . . . . . . . . . . . . . . 152 4.5 Geometric programming . . . . . . . . . . . . . . . . . . . . . . . . . . 160 4.6 Generalized inequality constraints . . . . . . . . . . . . . . . . . . . . . 167 4.7 Vector optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 5 Duality 215 5.1 The Lagrange dual function . . . . . . . . . . . . . . . . . . . . . . . . 215 5.2 The Lagrange dual problem . . . . . . . . . . . . . . . . . . . . . . . . 223 5.3 Geometric interpretation . . . . . . . . . . . . . . . . . . . . . . . . . 232 5.4 Saddle-point interpretation . . . . . . . . . . . . . . . . . . . . . . . . 237 5.5 Optimality conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . 241 5.6 Perturbation and sensitivity analysis . . . . . . . . . . . . . . . . . . . 249 5.7 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 5.8 Theorems of alternatives . . . . . . . . . . . . . . . . . . . . . . . . . 258 5.9 Generalized inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . 264 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273 II Applications 289 6 Approximation and fitting 291 6.1 Norm approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291 6.2 Least-norm problems . . . . . . . . . . . . . . . . . . . . . . . . . . . 302 6.3 Regularized approximation . . . . . . . . . . . . . . . . . . . . . . . . 305 6.4 Robust approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . 318 6.5 Function fitting and interpolation . . . . . . . . . . . . . . . . . . . . . 324 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344 7 Statistical estimation 351 7.1 Parametric distribution estimation . . . . . . . . . . . . . . . . . . . . 351 7.2 Nonparametric distribution estimation . . . . . . . . . . . . . . . . . . 359 7.3 Optimal detector design and hypothesis testing . . . . . . . . . . . . . 364 7.4 Chebyshev and Chernoff bounds . . . . . . . . . . . . . . . . . . . . . 374 7.5 Experiment design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393 Contents ix 8 Geometric problems 397 8.1 Projection on a set . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397 8.2 Distance between sets . . . . . . . . . . . . . . . . . . . . . . . . . . . 402 8.3 Euclidean distance and angle problems . . . . . . . . . . . . . . . . . . 405 8.4 Extremal volume ellipsoids . . . . . . . . . . . . . . . . . . . . . . . . 410 8.5 Centering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416 8.6 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422 8.7 Placement and location . . . . . . . . . . . . . . . . . . . . . . . . . . 432 8.8 Floor planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447 III Algorithms 455 9 Unconstrained minimization 457 9.1 Unconstrained minimization problems . . . . . . . . . . . . . . . . . . 457 9.2 Descent methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463 9.3 Gradient descent method . . . . . . . . . . . . . . . . . . . . . . . . . 466 9.4 Steepest descent method . . . . . . . . . . . . . . . . . . . . . . . . . 475 9.5 Newton’s method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484 9.6 Self-concordance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496 9.7 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 508 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 514 10 Equality constrained minimization 521 10.1 Equality constrained minimization problems . . . . . . . . . . . . . . . 521 10.2 Newton’s method with equality constraints . . . . . . . . . . . . . . . . 525 10.3 Infeasible start Newton method . . . . . . . . . . . . . . . . . . . . . . 531 10.4 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 542 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557 11 Interior-point methods 561 11.1 Inequality constrained minimization problems . . . . . . . . . . . . . . 561 11.2 Logarithmic barrier function and central path . . . . . . . . . . . . . . 562 11.3 The barrier method . . . . . . . . . . . . . . . . . . . . . . . . . . . . 568 11.4 Feasibility and phase I methods . . . . . . . . . . . . . . . . . . . . . . 579 11.5 Complexity analysis via self-concordance . . . . . . . . . . . . . . . . . 585 11.6 Problems with generalized inequalities . . . . . . . . . . . . . . . . . . 596 11.7 Primal-dual interior-point methods . . . . . . . . . . . . . . . . . . . . 609 11.8 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623 x Contents Appendices 631 A Mathematical background 633 A.1 Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633 A.2 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637 A.3 Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 639 A.4 Derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 640 A.5 Linear algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 652 B Problems involving two quadratic functions 653 B.1 Single constraint quadratic optimization . . . . . . . . . . . . . . . . . 653 B.2 The S-procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655 B.3 The field of values of two symmetric matrices . . . . . . . . . . . . . . 656 B.4 Proofs of the strong duality results . . . . . . . . . . . . . . . . . . . . 657 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659 C Numerical linear algebra background 661 C.1 Matrix structure and algorithm complexity . . . . . . . . . . . . . . . . 661 C.2 Solving linear equations with factored matrices . . . . . . . . . . . . . . 664 C.3 LU, Cholesky, and LDLT factorization . . . . . . . . . . . . . . . . . . 668 C.4 Block elimination and Schur complements . . . . . . . . . . . . . . . . 672 C.5 Solving underdetermined linear equations . . . . . . . . . . . . . . . . . 681 Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684 References 685 Notation 697 Index 701
Convex Optimization pdf
07-13
凸优化，有助于理解SVM中的对偶问题，证明位于Page-234, 5.3.2节
ConvexOptimization
07-04
凸优化学习，数学基础学习，深度学习者学习，机器学习
【apollo】凸优化
qq_44784242的博客
04-12 529
三个要素：可行解集合（约束），定义最优的含义，如何寻找最优的。等式约束能够转化为两个不等式约束。因此约束只考虑不等式约束最优解未必只有一个，最优解组成的集合称为“最优解集”
凸优化(Convex Optimization)浅析
热门推荐
风言风语
04-18 1万+
本文对凸优化进行了简单介绍,转载自凸优化(Convex Optimization)浅析——博客园kemaswill.对原作者的付出表示感谢.版权归原作者所有.
凸优化
weixin_30813225的博客
06-23 182
凸优化 由于在SVM等各种地方都会用凸优化来解决问题，所以本篇博客将系统的介绍凸优化如何做，以及一些常见的问题。 基本概念 仿射集(Affine Set) 定义：通过集合C中任意两个不同点的直线仍然在集合C内，则称集合C为仿射集. \(\forall x_{1},x_{2} \in C, \forall \theta \in R, 则x = \theta * x_{1} + (1 - \theta...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值