数学优化
文章平均质量分 66
分享数学优化理论中的相关知识点,可用于机器学习、数学建模,规划求解等。
心态与习惯
trust yourself, then success will follow you.
展开
-
拉格朗日松弛(对偶)方法,次梯度法
拉格朗日松弛(Lagrangean Relaxation)方法在混合整数规划、非线性规划中应用非常广,并且线性规划的对偶本质上也是拉格朗日松弛。本文基于《Foundamentals of Supply Chain Theory》这本书中关于拉格朗日松弛的介绍,总结一下该方法。(P)mins.t.cxAxbDx≤ex≥0or binary在上面的模型中,cxbe是向量,AD是矩阵,部分x可以是 0-1 变量。原创 2024-09-16 21:30:03 · 886 阅读 · 0 评论 -
Introduction to linear optimization 第二章全部课后题答案
不少题我参考了网上找到的一些资料的思路,但是有一些题目我觉得这些网上找到的答案也不太好,自己修正完善了下,少部分题目自己独立完成。费了好长时间,终于把这本经典理论教材第二章的课后题做完了。大部分都是证明题,很多都是比较有难度的。原创 2024-08-25 04:11:07 · 199 阅读 · 0 评论 -
Introduction to linear optimization 课后题答案第一章
第一章的课后题明显比第二章简单多了,第一章最难的反而是第一道题。原创 2024-08-11 01:15:10 · 224 阅读 · 0 评论 -
Lipschitz 连续,绝对连续
这个函数可以在定义域内找到不相交的子区间,它们的长度和小于某个常数,但是在所有子区间的绝对偏差和可以达到无穷大 (令。除了 Lipschitz 连续,还有绝对连续(absolute continuous, 不仅要求一致连续,还要求。经常听到这个名词, Lipschitz 连续比普通连续更强,不仅要求函数连续,还要求函数的梯度小于一个正实数。(对函数的绝对值求积分,不是无穷大,是存在勒贝格积分的条件)对于多变量函数,要求在任何一个变量上的梯度都小于等于。原创 2024-07-01 19:44:11 · 1343 阅读 · 0 评论 -
Introduction to linear optimization 第 2 章课后题答案 11-15
线性规划导论 Introduction to linear optimization (Dimitris Bertsimas and John N. Tsitsiklis, Athena Scientific, 1997), 这本书的课后题答案我整理成了一个 Jupyter book,发布在网址:欢迎访问与指正。原创 2024-06-22 01:12:10 · 323 阅读 · 0 评论 -
凸函数的局部最优也是全局最优的证明
这个性质早就知道了,但并不太清楚严谨的证明是什么。这也是《Introduction to linear optimization》书中第三章课后题的第一题。这篇博客给出严谨的证明。We prove this problem by contradiction (反证法).原创 2024-06-07 19:50:37 · 1125 阅读 · 0 评论 -
分支定界(branch-and-bound),分支切割(branch-and-cut),分支定价(branch-and-price)
组合优化问题、混合整数规划模型的相关论文中经常接触这 3 个名词:分支定界(branch-and-bound),分支切割(branch-and-cut),分支定价(branch-and-price),有时候会混淆。原创 2024-04-11 21:00:51 · 1781 阅读 · 0 评论 -
混合整数规划, 拉格朗日对偶
在论文中看到一个混合整数规划问题的对偶,非常有意思,发现拉格朗日对偶非常强大,在这篇博客里记录总结一下。原创 2024-04-05 07:43:34 · 1243 阅读 · 2 评论 -
单纯形的几何意义 Simplex
单纯形是 n 维空间 n+1 个仿射无关的点的集合的凸包。原创 2023-12-29 14:20:18 · 637 阅读 · 0 评论 -
函数保留凸性的一些运算,限制为一条线
凸优化在学术研究中非常重要,经常遇到的问题是证明凸性。常规证明凸性的方式是二阶导数的黑塞矩阵为半正定,或者在一维函数时二阶导数大于等于零。但很多时候的数学模型并不那么常规、容易求导的,若能够知道一些保留凸性的运算,将能够显著减少证明凸性的难度。这篇博客总结一些这个知识点。原创 2023-11-29 21:15:30 · 1410 阅读 · 0 评论 -
Introduction to linear optimization exercise 第二章课后题答案 6-10
根据课本上推论 2.2,非空标准型多面体必有一个基可行解。根据定理 2.4, 在基解中,非基变量(一共有。点评:这道题主要考察了非空标准型多面体必存在一个基可行解到性质(标准型多面体的形式为。由于它是非空标转型多面体,存在一个基可行解。根据定理 2.4,非基变量(一共有。是一个标转型多面体,并且是非空的(因为。原创 2023-07-07 12:26:49 · 580 阅读 · 2 评论 -
L-shape 方法
L-shape 方法是求解两阶段随机规划的一种常用方法,基本思想是利用切平面将第二阶段的反馈函数线性化,在构造切平面条件时有点类似 bender’s 方法。此时,上面两个模型称作固定反馈 (fixed recourse) 的两阶段随机规划模型。为随机变量的一个具体实现值,模型中的决策变量与随机变量都可以是向量形式。个实现值(realization),每个实现值对应的概率为。为第一阶段的决策变量,必须在不确定性发生之前作出决定,为第二阶段的决策变量,在不确定性发生之后作出决定。上面第二个模型中,可以看出。原创 2023-05-30 17:16:12 · 2247 阅读 · 2 评论 -
幂函数与指数函数的近似
幂函数1xα可以近似为指数函数eαx,甚至可以进一步近似为1αx。在一本书中指数平滑方法的介绍中见到了这个近似,总结一下。原创 2023-04-04 18:30:35 · 2132 阅读 · 0 评论 -
Introduction to linear optimization exercise 第二章课后题答案 1-5
Introduction to linear optimization》这本书很不错,但是课后题没答案,准备通过网络搜集以及自己的练习,整理一下。原创 2023-03-26 20:36:44 · 802 阅读 · 0 评论 -
拟凸函数,拟凹函数,单峰函数
为单变量函数时,单峰函数(只有一个局部极小值或局部极大值的函数)要么是拟凸函数,要么是拟凹函数,而多变量函数时则不一定。拟凸(quasi-convex)函数很早就听说过,但是标准定义一直不太了解,现在总结一下。几何意义是函数任意两点连线上的点,在该函数上的值小于这两点对应函数值的最大值。是拟凸函数:若对于其定义域内的任意两个点。上图就是一个拟凸函数。一个定义在凸集上的实数函数。原创 2023-02-24 05:26:37 · 1581 阅读 · 0 评论 -
全期望值定理与全方差定理
全期望值定理(law of total expectation)比较熟悉,竟然还有个全方差定理(law of total variance),关于条件期望与条件方差的,总结一下。原创 2023-02-17 07:26:06 · 2089 阅读 · 0 评论 -
《Introduction to linear optimization》 看了一遍了
从 2019 年 4 月份买到这本书,到把这本书完全看一遍,都过了 3 年多了。准备顺着第一遍的笔记慢慢看第二遍,再做做课后题。原创 2023-02-01 00:38:08 · 1160 阅读 · 4 评论 -
一个变量在一个范围内取值,线性化
偶尔碰到一个线性化的问题:一个变量在一个区域内为一个值,在其他区域内为另一个值,即。引入一个 0-1 变量。原创 2022-12-27 03:53:07 · 789 阅读 · 9 评论 -
一个关于数列递推的证明
小红书看到一个数列公式的递推证明,很有趣。(n−k)!(−1)r=1。原创 2022-12-18 06:01:21 · 775 阅读 · 0 评论 -
关于矩阵求导的几个性质
在高级的理论教材中,经常能见到针对一组变量的求导,往往涉及到矩阵。并不能快速手动推导,需要熟悉记住一些结论,于是决定写篇博客总计一下。这些性质都很容易通过对矩阵展开运算验证。对于 m×1m\times 1m×1 列向量 y\mathbf{y}y, m×nm\times nm×n 矩阵 A\mathbf{A}A, n×1n\times 1n×1 列向量 xxx,若它们的关系如下:y=Ax\mathbf{y=Ax}y=Ax则∂y∂x=A\frac{\partial \mathbf{y}}{\parti原创 2022-12-07 20:42:58 · 712 阅读 · 0 评论 -
凸包(convex hull),凸包络面(convex envelope), 凸低估计量(convex underestimator), 图上方(epigraph),
凸分析中经常见到这些概念,目前这方面的中文资料似乎不太多,决定写篇博客总结一下。凸包在文献中比较常见些,也称作凸包络面 convex envelope。凸包一般针对某个集合(函数也可以有凸包,但我看到一些文献将函数的凸包称作凸包络面 convex envelope)。凸包的定义为:对于某个有限集合 {v1,v2,…,vn}\{v_1, v_2, \dots, v_n\}{v1,v2,…,vn},它的凸包为conv{v1,v2,…,vn}={θ1v1+θ2v2+⋯+θnvn∣θi≥0,∑nθi=1,∀i原创 2022-11-17 00:47:51 · 3791 阅读 · 2 评论 -
关于组合数(二项系数)的一个递推公式
对于组合数,一些英文资料里也称为二项系数(二项分布的系数),有一个递推公式。这个非常容易证明,将表达式展开为阶乘计算即可。最近听到一位教授提起,发下自己忘了,于是写篇博客记录下。原创 2022-11-16 06:03:07 · 962 阅读 · 0 评论 -
将一个整数划分为几部分,考虑顺序,java 代码
最近又无意中遇到了一个整数划分问题,将一个整数划分为几个数的和,考虑顺序。网上搜到一些方案是 python 的,没有给出考虑顺序的结果,自己适当修改了下,用 java 实现了。原创 2022-10-25 05:27:47 · 1387 阅读 · 0 评论 -
一个凸函数关于一个随机变量的期望仍然是凸函数
在证明 base stock 策略时用到了这个性质,设有一个关于 $x$ 的凸函数 $f(x)$,另有一个随机变量 $\xi$,该随机变量的概率密度函数为 $\phi(\xi)$。则 $f(x)$ 对这个随机变量一个非负函数的期望得到的另外一个函数,即 $g(x)=\int f(x-\xi)\phi(\xi)d\xi$,也为凸函数。原创 2022-10-03 23:31:27 · 964 阅读 · 0 评论 -
到底什么是拓扑空间,拓扑
拓扑可以理解为一个给定集合内元素所组成的,另外一个满足上面三个条件的集合。拓扑空间有时候也直接称为拓扑,一个集合。,下面的六个新集合中,最后两个并不属于。下面,用维基百科的一个图形例子来说明。原创 2022-09-08 00:48:08 · 2125 阅读 · 5 评论 -
负二项分布
负二项分布与二项分布不一样,它表示在一些列伯努利试验中,成功概率为 $p$,成功次数为 $r$ 之前的失败次数的概率分布原创 2022-08-07 04:32:20 · 2152 阅读 · 0 评论 -
复习一下条件期望
最近旁听一个金融分析的课程,遇到了 CVAR,是一个条件期望。发现条件期望基本忘记了,于是复习一下。两个随机变量 XXX 与 YYY,1. 若 XXX 与 YYY 都是离散变量XXX 在 Y=yY=yY=y 时期望为: E(X∣Y=y)=∑x∈χxP(X∣Y=y)=∑x∈χxP(X=x,Y=y)P(Y=y)E(X∣Y=y)=∑x∈χxP(X∣Y=y)=∑x∈χxP(X=x,Y=y......原创 2018-07-19 16:55:53 · 13146 阅读 · 0 评论 -
测度论中的概率空间,可测空间
随机规划理论、随机过程中经常见到概率空间的使用,总结一下。原创 2022-07-22 01:06:59 · 1599 阅读 · 1 评论 -
二项分布近似成泊松分布、正态分布
二项分布可以在一定条件下近似为泊松分布、正态分布。原创 2022-07-12 00:55:14 · 13180 阅读 · 0 评论 -
推土距离, Wasserstein distance
在鲁棒优化中见到一个名词:Wasserstein distance, 又称作 earth mover's distance,堆土距离。用来测量两个随机分布的距离。之所以叫堆土距离,是因为它的物理含义是:将一个随机分布的直方图,变化成另一个随机分布的直方图,直方图变动的最小距离和。直方图中的每个小柱子可以视作一个土堆。...原创 2022-05-26 18:50:54 · 1607 阅读 · 1 评论 -
随机对偶动态规划 SDDP,报童模型的一个 python 例子
将 benders 分解与 SAA 方法结合在一起,就产生了随机对偶动态规划方法。这两年在论文里看到了这个方法,一般用在运输或能源规划问题中,在库存管理问题中还没见别人用过。原创 2022-03-31 21:42:34 · 5485 阅读 · 4 评论 -
两阶段与多阶段随机规划
这段时间发现一本不错的随机规划教材:《Handbooks in Operations Research and Management Science: Stochastic Programming》。这本书比之前看的一些教材更通俗易懂一些。总结一下这几天看到的知识点。1. 两阶段规划two-stage model 中,xxx 为第一阶段的决策变量,必须在不确定性发生之前作出决定,yyy 为第二阶段的决策变量,在不确定性发生之后作出决定。ξ\xiξ 为随机变量,而 www 为随机变量的一个具体表现值。原创 2022-01-04 23:08:20 · 6454 阅读 · 4 评论 -
关于条件方差的一个性质
今天看到关于条件方差的一条性质,记录下来:Var(Y)=E(Var(Y∣X))+Var(E(Y∣X))\text{Var} (Y) = \text{E}(\text{Var}(Y|X))+\text{Var}(\text{E}(Y|X)) Var(Y)=E(Var(Y∣X))+Var(E(Y∣X))而条件均值的性质为:E(Y)=E(E(Y∣X))\text{E}(Y)=\text{E}(\text{E}(Y|X))E(Y)=E(E(Y∣X))...原创 2021-12-29 12:21:31 · 5175 阅读 · 1 评论 -
详解 Benders 分解与一个算例的 python 代码
听说过 benders 分解几年了,一直没有细看,最近论文里面也见到,还是有必要了解一下它的基本思想与用法的。原创 2021-11-15 01:19:35 · 7151 阅读 · 19 评论 -
max-min 不等式(minimax inequality)
在一篇鲁棒优化相关的论文中,看到了 minimax inequality,又称作 max-min 不等式。查了一下,原来在拉格朗日对偶中应用过,写篇博客总结一下。原创 2021-11-09 13:25:33 · 2746 阅读 · 0 评论 -
指示约束条件 (indicator constraint) 与大M (big M) 条件
数学规划软件 cplex 或 gurobi 都有专门的指示约束条件:约束一个变量与另外一些变量的关系,例如对于一个 0-1 变量 zzz,它与 xxx 有以下关系:x>0⇒z=1x=0⇒z=0\begin{aligned}x>0 \Rightarrow z=1\\x=0\Rightarrow z=0\end{aligned}x>0⇒z=1x=0⇒z=0一般情况下可以使用大 M 构造成线性规划模型:x≤Mzx≥0\begin{aligned}x &\leq Mz原创 2021-09-08 21:42:18 · 6144 阅读 · 3 评论 -
无限阶段平稳马尔科夫过程的求解算法:策略迭代与值迭代
无限阶段的马尔科夫决策过程,相关论文一般比较难,初步总结一下知识点。若无限阶段的马尔科夫过程为平稳的,那么各阶段的状态转移概率与回报函数都是相同的,这样**马尔科夫过程最终会达到一个平稳的状态**。(在库存问题中,平稳过程意味着各阶段的随机需求函数相同,收益与成本参数也相同)原创 2021-08-27 14:29:14 · 1151 阅读 · 0 评论 -
仿射包(affine hull) 与凸包(convex hull)
一个集合的仿射包,是集合内元素的所有仿射组合;一个集合的凸包,是集合内元素的所有凸组合。对于一个集合 SSS,假设它有 kkk 个点,每个点为 xix_ixi,则仿射包可以定义为:{∑i=1kaixi∣xi∈S,∑i=1kai=1,ai∈R}\{\sum_{i=1}^k a_ix_i|x_i\in S, \sum_{i=1}^k a_i=1,a_i\in\mathbb{R}\}{i=1∑kaixi∣xi∈S,i=1∑kai=1,ai∈R}若要求 ai≥0a_i\geq0ai≥0原创 2021-07-08 16:37:54 · 2232 阅读 · 0 评论 -
霍夫丁不等式 Hoeffding inequality
霍夫丁不等式是描述:一组相互独立并且有界的变量偏离其均值的和大于一定值的概率具有一个上界。该不等式最初是研究二项分布的性质。假设有一组相互独立的随机变量 X1,X2,…,XnX_1, X_2, \dots, X_nX1,X2,…,Xn,每个随机变量的波动区间为 [ai,bi][a_i, b_i][ai,bi],i=1,2,…,ni=1, 2,\dots,ni=1,2,…,n。令 X‾=1n(X1+X2+⋯+Xn)\overline{X}=\frac{1}{n}(X_1+X_2+\dots+X_原创 2021-06-28 11:08:01 · 1130 阅读 · 0 评论 -
半连续性:上半连续与下半连续
上半连续与下半连续的定义跟我想象中的不一样,并不等同于左连续与右连续。查了查维基百科,终于弄明白了。半连续性的最清晰解释可以用不等式结合图像理解,上半连续:limx→x‾0supf(x)≤f(x0)\lim_{x\rightarrow \overline{x}_0} \sup f(x)\leq f(x_0)x→x0limsupf(x)≤f(x0)上半连续图形:下半连续:limx→x‾0inff(x)≥f(x0)\lim_{x\rightarrow \overline{x}_原创 2021-06-08 15:32:19 · 21724 阅读 · 5 评论