优化基础
文章平均质量分 98
SIE545的笔记
一个不愿透露姓名的孩子
这个作者很懒,什么都没留下…
展开
-
UA SIE545 优化理论基础1 例题1 常见的凸集
UA SIE545 优化理论基础1 例题1 常见的凸集原创 2021-03-08 07:30:59 · 560 阅读 · 1 评论 -
UA SIE545 优化理论基础 用Farkas定理证明Farkas类的结论
UA SIE545 优化理论基础 用Farkas定理证明Farkas类的结论Farkas定理 AAA是一个m×nm\times nm×n的矩阵,下面两个系统有且仅有一个有解:I:Ax≤0,cTx>0II:ATy=c,y≥0I:Ax \le 0,c^Tx>0 \\ II:A^Ty=c,y \ge 0I:Ax≤0,cTx>0II:ATy=c,y≥0一般我们称两个线性系统有且仅有一个解的结论叫Farkas-type results,证明这类结论的一种方法是通过换元、引入松弛变量等方法变换成原创 2020-12-14 11:10:51 · 758 阅读 · 0 评论 -
UA SIE545 优化理论基础 函数凸性的一些有趣的判断方法
UA SIE545 优化理论基础 函数凸性的一些有趣的判断方法Convex function f:S→Rf:S \to \mathbb{R}f:S→R where SSS is a nonempty convex set. Call fff a convex function on SSS if ∀x1,x2∈S\forall x_1,x_2 \in S∀x1,x2∈S, λ∈(0,1)\lambda \in (0,1)λ∈(0,1)f(λx1+(1−λ)x2)≤λf(x1)+(1−λ)f(x2)f原创 2020-12-14 05:32:18 · 289 阅读 · 0 评论 -
UA SIE545 优化理论基础 例题 对偶函数的凸性与次梯度计算
UA SIE545 优化理论基础 例题 对偶函数的凸性与次梯度计算例 考虑对偶函数θ(u1,u2)=minx12+x22≤4x1(2−u1)+x2(3−u2)\theta(u_1,u_2) = \min_{x_1^2+x_2^2 \le 4} x_1(2-u_1)+x_2(3-u_2)θ(u1,u2)=x12+x22≤4minx1(2−u1)+x2(3−u2)它是凸函数还是凹函数?计算它在(2,3)(2,3)(2,3)处的次梯度。分析 这个对偶函数对应的原优化问题是min(x1原创 2020-12-13 11:06:58 · 716 阅读 · 0 评论 -
UA SIE545 优化理论基础2 凸函数 概念 理论 总结
UA SIE545 优化理论基础2 凸函数 概念 理论 总结凸函数的概念与简单性质Convex function f:S→Rf:S \to \mathbb{R}f:S→R where SSS is a nonempty convex set. Call fff a convex function on SSS if ∀x1,x2∈S\forall x_1,x_2 \in S∀x1,x2∈S, λ∈(0,1)\lambda \in (0,1)λ∈(0,1)f(λx1+(1−λ)x2)≤λf(x1)原创 2020-12-08 09:25:14 · 208 阅读 · 0 评论 -
UA SIE545 优化理论基础3 Fritz-John与Kuhn-Tucker理论总结 带等式约束与不等式约束的极值问题
UA SIE545 优化理论基础3 Fritz-John与Kuhn-Tucker理论例题 带等式约束与不等式约束的极值问题原创 2020-12-07 10:48:03 · 860 阅读 · 0 评论 -
UA SIE545 优化理论基础4 对偶理论简介6 求解对偶问题的梯度算法
UA SIE545 优化理论基础4 对偶理论简介6 求解对偶问题的梯度下降算法原创 2020-12-02 06:41:42 · 279 阅读 · 0 评论 -
UA SIE545 优化理论基础4 对偶理论简介4 求解对偶问题的割平面算法
UA SIE545 优化理论基础4 对偶理论简介4 弱对偶与强对偶的应用举例原创 2020-12-02 03:07:01 · 457 阅读 · 0 评论 -
UA SIE545 优化理论基础4 对偶理论简介3 强对偶
UA SIE545 优化理论基础4 对偶理论简介3 强对偶上一讲介绍了弱对偶,弱对偶满足inf{f(x):x∈X,g(x)≤0,h(x)=0}≥sup{θ(u,v):u≥0}\inf\{f(x):x \in X,g(x) \le 0,h(x)=0\} \ge \sup\{\theta(u,v):u \ge 0\}inf{f(x):x∈X,g(x)≤0,h(x)=0}≥sup{θ(u,v):u≥0}如果这个式子取等,那就是强对偶,原问题与对偶问题的最优值相等。相比弱对偶,我们肯定是更希望有强对偶的原创 2020-11-26 10:59:22 · 407 阅读 · 0 评论 -
UA SIE545 优化理论基础4 对偶理论简介5 对偶的几何解释
UA SIE545 优化理论基础4 对偶理论简介5 对偶的几何解释前四讲我们建立了弱对偶与强对偶的概念与理论,这一讲我们试图从直观上理解对偶。强对偶的几何解释考虑下面的优化min(x−2)2s.t.x≥0\min (x-2)^2 \\ s.t. x \ge 0min(x−2)2s.t.x≥0从几何上,这个优化想在数轴的非负半轴找一个距离x=2x=2x=2最近的点。下面我们写出对偶问题,θ(u)=inf{(x−2)2−ux:x≥0}=−(u+2)2+4\theta(u)=\inf \{(x-原创 2020-11-26 10:33:07 · 289 阅读 · 0 评论 -
UA SIE545 优化理论基础4 对偶理论简介2 弱对偶与Duality Gap
UA SIE545 优化理论基础4 对偶理论简介2 弱对偶上一讲我们定义了Lagrange对偶,这一讲我们介绍第一个重要结论——弱对偶定理(Weak duality theorem)。原创 2020-11-25 06:09:38 · 685 阅读 · 1 评论 -
UA SIE545 优化理论基础4 对偶理论简介1 松弛问题与Lagrange对偶
UA SIE545 优化理论基础4 对偶理论简介1 松弛问题、建立对偶理论的动机优化理论基础第四部分介绍对偶问题及其简单性质,是对偶理论的入门,后续章节会更深入地讨论对偶问题的数学基础及其求解方法。这一讲我们介绍松弛(relaxation)这个概念以及为什么我们需要讨论对偶问题。定义1 Relaxation考虑两个优化问题:zP=min{f(x):x∈X}zR=min{g(x):x∈Y}z_P = \min\{f(x):x \in X\} \\ z_R = \min \{g(x): x \in原创 2020-11-21 14:49:00 · 451 阅读 · 0 评论 -
UA SIE545 优化理论基础1 例题4 证明一个集合是闭集
UA SIE545 优化理论基础1 例题4 证明一个集合是闭集原创 2020-10-15 09:34:19 · 3039 阅读 · 0 评论 -
UA SIE545 优化理论基础1 例题3 凸多面体的表示与线性规划
UA SIE545 优化理论基础1 习题3 凸多面体的表示与线性规划原创 2020-10-13 07:44:58 · 689 阅读 · 0 评论 -
UA SIE545 优化理论基础1 例题2 Farkas定理与相关结论
UA SIE545 优化理论基础1 例题2 Farkas定理与相关结论原创 2020-10-12 12:24:36 · 1301 阅读 · 0 评论 -
UA SIE545 优化理论基础1 凸分析3 凸集与凸包
UA SIE545 优化理论基础1 凸分析3 凸集与凸包原创 2020-10-08 10:41:31 · 443 阅读 · 0 评论 -
UA SIE545 优化理论基础1 凸分析2 仿射组合与仿射包
UA SIE545 优化理论基础1 凸分析2 仿射组合与仿射包原创 2020-10-08 09:44:20 · 231 阅读 · 0 评论 -
UA SIE545 优化理论基础1 凸分析8 极点与极方向
UA SIE545 优化理论基础1 凸分析8 极点与极方向原创 2020-10-01 12:47:03 · 2559 阅读 · 0 评论 -
UA SIE545 优化理论基础9 优先与分治策略1 文件的最优存储顺序
UA SIE545 优化理论基础9 优先与分治策略1 文件的最优存储顺序单磁带存储相同查询频率相同文件长度查询频率与文件长度均不同单磁带存储相同查询频率这一章介绍优先策略与分治策略,我们从一个简单的例子开始介绍优先策略。考虑非常简单的磁带存储问题:如果我们把nnn个文件存储在磁带上,那么这nnn个文件只能按存储顺序进行读写,假设Li,i=1,⋯ ,nL_i,i=1,\cdots,nLi,i=1,⋯,n表示第iii个文件长度,假设查询每个文件的概率相同,求最优的文件存储顺序。假设σ\sigmaσ表示原创 2020-09-23 03:53:37 · 104 阅读 · 0 评论 -
UA SIE545 优化理论基础1 凸分析1 线性流形与超平面
UA SIE545 优化理论基础1 凸分析1 凸集与凸锥线性流形超平面线性流形假设FFF是一个数域,VVV是FFF上的一个线性空间。称M⊂VM \subset VM⊂V是一个线性流形,如果∀x,y∈M,∀λ∈F,(1−λ)x+λy∈M\forall x,y \in M,\forall \lambda \in F,(1-\lambda)x+\lambda y \in M∀x,y∈M,∀λ∈F,(1−λ)x+λy∈M定理1 线性子空间是包含零元的线性流形证明证毕定义集合M⊂VM \subset V原创 2020-09-18 02:43:17 · 533 阅读 · 0 评论 -
UA SIE545 优化理论基础0 优化建模1 优化问题的基本形式
UA SIE545 优化理论基础0 优化建模1 优化模型的常见应用优化问题的基本形式优化的应用最优控制离散最优控制连续最优控制结构设计机械设计电路设计水资源管理随机资源分配这个系列是介绍优化的数学理论的,重点是优化建模与可解性的一些基础性定理,优化算法参考UA MATH 575B系列(未完成)。大概会分成四部分:第0部分介绍一些优化建模与应用的例子;第I部分介绍凸分析;第II部分介绍可解性与对偶;第III部分介绍优化算法分析基础(复杂度、收敛等)。优化问题的基本形式所有的优化问题都可以用下面的形式建模原创 2020-09-09 05:40:09 · 216 阅读 · 0 评论 -
UA SIE545 优化理论基础5 搜索与整数规划1 DFS算法
UA SIE545 优化理论基础5 搜索与整数规划1 DFS算法DFS方法基础邮票问题这部分的主要目标是建立求解整数规划的方法,早期解决整数规划需要穷举,后来人们把搜索技术应用到整数规划中,极大地提高了整数规划求解地效率,最常被用到的两种技术是DFS和分支定界,所以这部分就从这两种技术开始介绍,然后讨论怎么用来解决整数规划问题。DFS方法基础DFS全称是Depth First Search,也就是深度优先搜索。这个算法思路很简单,就是莽就完了,但莽的时候要记录莽过的路径,下一个位置不符合要求就可以退回原创 2020-09-07 04:06:01 · 211 阅读 · 0 评论 -
UA SIE545 优化理论基础0 优化建模7 二值变量的应用
UA SIE545 优化理论基础0 优化建模7 二值变量的应用包含决策变量的绝对值的约束包含决策变量的最值的约束包含决策变量的任意分位点的约束应用:Least Median Squared Error Regression考虑一种看起来非常简单的约束:∣x∣≥a|x|\ge a∣x∣≥a,这个约束等价于x≥a or a≤−ax \ge a\ or\ a \le -ax≥a or a≤−a,也就是说这个约束不能简单写成线性形式,因为它包含两个分支。这时我们需要引入二值原创 2020-09-02 03:26:29 · 214 阅读 · 0 评论 -
UA SIE545 优化理论基础0 优化建模3 线性回归的参数估计问题
UA SIE545 优化理论基础0 优化建模3 线性回归的参数估计问题OLSOLS原创 2020-08-31 03:56:00 · 216 阅读 · 0 评论 -
UA SIE545 优化理论基础0 优化建模6 罐头的尺寸设计
UA SIE545 优化理论基础0 优化建模6 罐头的尺寸设计我们的目标是设计一种罐头,这种罐头产品按件出售,一件12个罐头,按3行一行四个的形式排列,同时有以下信息:V0V_0V0:罐头的最小容积(忽略厚度);D0D_0D0:一件罐头的最大边长;c1,c2c_1,c_2c1,c2: 罐头材料与一件罐头的包装材料的单位价格考虑圆柱体罐头,假设底面半径为rrr,高为hhh;一件罐头用一个长方体盒子包装,长方体的长为8r8r8r、宽为6r6r6r、高为hhh。用S1S_1S1表示罐头表面原创 2020-08-28 02:42:59 · 247 阅读 · 0 评论