hyl1181的博客

极点如果C为非空凸集，，不存在且和，使得成立则称为C的极点。如图，对于此非空闭凸集，红色点均为极点（）。从图中可以发现极点不能被任意两不同点的严格凸组合得到。如果C为非空闭凸集，C中至少含有一个极点，当且仅当C中不存在直线。方向C为中的闭凸集，，如果对于，都有，则称为C的方向。为C的方向，如果对于，都有，则称与方向不同。为C的方向，若，其中，则称为C的极方向。凸集C存在极方向，当且仅当C无界。（标准线性规划问题的其可行域）为非空多面体，则其极点集非空，且存在有限个极点

基本概念线性规划问题的标准形式为：式中： 是目标化函数，称为约束方程，为变量非负约束。一般情况下，应有m<n。此时约束方程有无穷多组解，线性规划就是从这无穷多组解中寻找一组使目标函数值最小的最优解。线性规划问题的约束条件包括约束方程和变量非负约束两部分，对应的解也分基本解、基本可行解和最优解。其中基本解是只满足约束方程的解；基本可行解是同时满足约束方程和变量非负约束的解。基本可行解中能使目标函数值最小的称为最优解。线性规划问题如果有可行解，则必有基可行解，...

Weierstrass 定理令为的非空子集，在的所有点处下半连续。假设下列三个条件之一成立:(1)是紧集；(2)是闭集且是强制的；(3)存在一个标量，使得截集为非空紧集。那么，在上的最小值点的集合为非空紧集。最优解存在的条件在凸优化问题中应用Weierstrass 定理：引理1：如果凸优化问题的可行域为非空紧集，且在上连续，则最优解一定存在。引理2：已知函数连续，且其定义域为开集，那么其下水平集为紧集，当且仅当为强制函数。引理3：如果可行域(无约束优化问题)，连续且是强

令为一个函数，其中是的一个子集，是中的一个向量。如果存在一个向量，使得对于满足的每一个序列，都有收敛到，那么记。如果存在一个向量，使得对于满足且(对应地，)的每一个序列，都有收敛到，那么记[对应地，]。连续 对于函数，如果成立，则称函数在向量处连续（continuous）。左/右连续 对于函数，如果[对应地，]成立，则称函数在向量处右连续（right-continuous）[对应地，左连续（left-continuous）]。上/下半连续 ...

闭包、开集、闭集、有界、无界、紧集、邻域、内点、边界点及边界闭包 如果存在一个序列收敛到，那么称是的子集的一个闭包点或极限点。的闭包(closure)记为，是指的所有闭包点的集合。例如，闭包[1,10]内有无数个闭包点。开集/闭集 的子集被称作是闭(closed)的，如果它等于它的闭包。被称作是开(open) 的，如果它的补集是闭的。有界/无界 被称作是有界(bounded)的，如果存在标量，使得对于所有的成立。否则，称为无界的。紧集 ...

一、拟凸函数定义： 函数称为拟凸函数，当且仅当其定义域和所有下水平集，都是凸集。Jensen不等式： 若f为拟凸函数，当且仅当dom(f)是凸集，且有。一阶条件： 设函数可微，则函数f是拟凸函数的充要条件，dom(f)是凸集，且。二阶条件： 假设函数二阶可微。如果函数f为拟凸函数，则对任意的有：； 如果对于任意，函数f满足：。连续函数是拟凸的，当且仅当下述条件至少有一个成立： （1）f是非减的...

超平面 超平面是具有以下形式的集合：，其中。即超平面是非平凡的线性方程的解空间，超平面是一个仿射集合。中由法向量和超平面上一点确定的超平面。对于超平面上任意一点（如深色箭头所示）都垂直于。半空间 一个超平面将划分为两个半空间。（闭的）半空间是具有以下形式的集合：，其中。即半空间是非平凡的线性不等式的解空间，半平面是凸的，但不是仿射的。上由定义的超平面决定了两个半空间。由决定的半空间(无阴影)是向扩展。由确定的半空间（阴影所示）向方向扩展。向量是这个半空间向...

凸集如果对于任意和满足的都有，那么称C为凸集。左图：包含其边界的六边形是凸的；中图：肾形集合不是凸的，因为图中所示集合中两点间的线段不为集合所包含；右图：仅包含部分边界的正方形不是凸的。锥如果对于任意和都有，那么称C为锥。锥的例子：原点，过原点的射线、直线、射线簇，角（顶点为原点），对角等都是锥。凸锥如果对于任意和都有，那么称C为凸锥。原点，过原点的射线、直线，角（顶点为原点，小于等于半平面）等都是...

x表示为如下列向量： 一、f(x)为一维此时其一阶导数构成的向量为梯度向量g(x)，其二阶导数构成的矩阵为Hessian（海森/黑塞）矩阵G(x)；导数可以表示为： 梯度向量 Hessian矩阵 二、f(x)为多维f(X)表示为如下列函数向量： 此时其一阶导数构成的矩阵为Jacobian（雅克比）矩阵J(x)。雅克比矩阵 ...

矩阵结果与算法复杂性Algorithm flop counts allow for very accurate and precise prediction of running time on a given computer.About how long does a 1 Gflop computer take to solve a system of 100 linear equations with 100 variables?About how long does a 1 Gf

四、分块消元与Schur补消除部分变量 逆矩阵引理消除部分变量考虑Ax=b，将变量分为凉快或两个子向量对线性方程组Ax=b做同样的划分，其中假设可逆，则按以下方式消去，，再将其代入第二个方程得到其中是矩阵A的第一个分块矩阵的Schur补。当且仅当A非奇异时，Schur补S是非奇异矩阵。通过分块消元求解线性方程组给定非奇异线性方程组Ax=b，其中非奇异：计算和 计算和 求解确定 求解确定分块消元法的复杂度分析f表示对进行因式分解的计算成本，s

三、LU Cholesky和因式分解LU因式分解 Cholesky因式分解 因式分解LU因式分解每一个非奇异矩阵都可以因式分解成A=PLU，其中是排列矩阵，是单位下三角矩阵，是非奇异上三角矩阵。这种形式被成为Ａ的LU因式分解。也可以写成。计算LU因式分解的标准算法被称为Gauss部分主元消元法，或Gauss行变换消元法。不考虑Ａ的结构，计算Ａ的LU因式分解的成本是。通过LU因式分解求解线性方程组给定线性方程组Ax=b，其中A非奇异。LU因式分解：将A因式分解为A=PLU。 排

二、求解已经因式分解的矩阵的线性方程组容易求解的线性方程组 因式分解求解方法容易求解的线性方程组先讨论矩阵A是n维可逆矩阵的情况，即对角矩阵假设A是非奇异对角矩阵，线性方程组Ax=b可以写成，方程组的解为，即经过n次浮点运算即可。下三角矩阵矩阵A是n维非奇异下三角矩阵：即，下三角矩阵非奇异的充要条件是对所有的i成立。此时Ax=b可以写成：可推出：共需要的计算次数：，即为等差数列前n项和，上三角矩阵矩阵A是非奇异上三角矩阵，即是非奇异下三角矩阵，Ax=b

一、矩阵结构与算法复杂性基于浮点运算次数的复杂性分析 基本的矩阵-向量运算成本求解线性方程组，A为系数矩阵，b为右边项。求解该方程组的一般性彼岸准方法所需要的计算量大约和成比例。但如果A具有特殊的结构，比如对称矩阵，对角矩阵，系数矩阵等，可以大大减少计算量。基于浮点运算次数的复杂性分析数值线性代数算法的成本经常表示为完成算法所需要的浮点运算次数关于各种问题维数的函数。浮点运算次数是对算法复杂度的较粗略的估计，但是也很有用。基本的矩阵-向量运算成本向量运算考虑n维向量，内积运算

9.4 最速下降方法对f(x+v)在x处进行一阶Taylor展开：其中是f在x处沿方向v的方向导数令是上的任意番薯，顶一个规范化的最速下降方向：一个规范化的最速下降方向是一个能使f的线性近似下降最多的具有单位范数的步径。也可以将规范化的最速下降方向乘以一个特殊的比例因子，从而考虑下述非规范化的最速下降方向：其中表示对偶范数。对于这种最速下降步径，有：不同范数下的最速下降方法采用Euclid范数的最速下降方法此时最速下降方向就负梯度方向，也就是梯度下降方法。

无约束优化The solution to the following problemwithandm>n, whereAhas full (column) rankn, isWhich stopping criteria are reasonable when solving an optimization problemminimize f(x)using iterative algorithms? Heredenotes the value ofx...

9.3 梯度下降方法梯度下降方法 例子梯度下降方法用负梯度做搜索方向，即令，这种下降方法称为梯度下降方法：给定初始点重复进行 直线搜索：通过精确或回溯直线搜索方法确定步长t 修改：直到满足停止条件停止准则通常取为：，其中是小正数。一般情况下步骤１１完成后就检验停止条件而不是在修改后才检验。例子空间的二次问题考虑上的二次目标函数：，显然最优点是。f的海瑟矩阵是常熟，其特征值是１和，因此起所有下水平集的条件数为采用精确线性搜索，初始点为，迭代过程中每个点的表达式

9.2 下降方法下降方法将产生一个优化点列其中，且。是一个向量表示步径或搜索方向。标量被称为第k次迭代的步长。方法的思想：只有不是最优解，就找一个比更好的点。由目标函数凸性可知（一阶特征），可知时，，于是可知，而在下降方法中显然，而且要求，故下降方法中的搜索方向必须满足，即它和负梯度放心的夹角必须是锐角。这样的方向为下降方向。下降方法：确定下降方向，然后选择步长t，其一般框架如下：给定初始点重复执行确定下降方向 直线搜索：选择步长 修改：直到终止条件被满足搜索方法类型

9.1 无约束优化问题例子 强凸性及其含义无约束优化问题其中是二次可微凸函数（dom(f)是开集），假设该问题可解，存在最优点，这里用表示最优值。由于f是二次可微凸函数，最优点应满足：所以无约束优化问题的求解变成了求解上述方程的解。一般情况下，必须采用迭代算法求解此方程，即计算点列使得时，，这样的点列被称为优化问题的极小化点列。当时，算法将终止，其中是设定的容许误差值。初始点和下水平集迭代的方法需要一个适当的初始点，该初始点必须满足两个条件：初始点必须在dom(f)内 下水

极值体积椭圆Letbe a polyhedron described by a set of linear inequalities, andaa point in. Which of the following problems are easy to solve? Check all that apply. (Easy means the solution can be found by solving one or a modest number of convex optimizat...

8.6 分类线性判别 非线性判别线性判别在线性判别中，寻找仿射函数用以区分这些点，即在几何意义上，即寻找分离两个点集的超平面。因为严格不懂呢过是对于a和b是齐次的，所以它们是可行的，当且仅当不严格不等式组：是可行的。下图是两个点集即线性判别函数的例子。鲁棒线性判别如果两个集合可以倍被别，那么存在一个可以分离它们的仿射函数的多面体，于是我们可以从中选择某些稳健度量下最优的一个。例如，我们可以寻找给出在上的正值和上的负值之间最大可能“间距”的函数。如上图，两条

8.5 中心Chebyshev中心 最大体积椭球中心 不等式组的解析中心Chebyshev中心多面体的Chebyshev中心设C是有线性不等式组定义，如果，则于是Chebyshev中心可以通过求解线性规划：最大体积椭球中心定义C中具有最大体积椭球的中心为C的最大体积椭球中心，记为，如下图。不等式组的解析中心一组凸不等式和线性方程的解析中心定义为凸问题的最优解。这里的优化变量是，并有隐含约束。问题中的目标被称为与不等式相关的对数障碍。解析中心不

8.4 极值体积椭圆Lowner-John椭球 最大体积内接椭球 椭球逼近的效率Lowner-John椭球包含集合C的最小体积椭球被成为集合C的Lowner-John椭球，记为，为方便描述的特征，将一般的椭球参数化为即Euclid球在仿射映射下的原象。可以不是一般性地假设，此时的体积正比于。计算包含C的最小体积椭球的问题可以表述为：其中，且存在一个隐含约束。目标函数和约束函数都是凸函数，问题是凸问题。覆盖有限集合的最小体积椭球考虑改了有限集合的最小体积椭球问题。一个椭球覆盖

极大似然估计Letbe independent samples from anN(μ,Σ)distribution, where it is known that, whereandare given positive definite matrices. Which of the following is true?最优检测器设计Consider a binary detection system with the following confusion matrix...

7.5 实验设计松弛实验设计问题 标量化考虑通过测量或实验：估计向量的问题，其中是测量噪声。假设是独立同分布的高斯噪声，均值为0，方差为1。于是x的最大似然估计，也是最小方差估计：目标函数对x求偏导，得到：令其为0，解得，故极大似然估计的解为：相应的估计误差：均值为0，协方差矩阵：矩阵E刻画了估计经度或是实验的信息度。例如x的-置信水平椭圆为：其中是常熟，由n和决定。假设刻画测量值的向量可以从p中可能的检验向量进行选择，即每个是中的一个。实验设计：从选择以

7.3 最优检测器设计及假性检验二值假设检验检测问题 随机检测器 检测概率矩阵 检测器设计的多准则表述 标量化检测问题：假设X是随机变量，在中取值，其概率密度分布和参数的取值有关，对的m个可能值，X的概率密度分布可以由矩阵表征，其元素为：，即矩阵的第j列对于参数值的概率分布。对的m个可能值称为m个假设，我们需要从假设中猜想哪个是正确的，这个问题称为假设检验，而假设检验也可以看成观测到X的某个取值，然后判断不寻常事件（某种假设为一种常规事件，而其他假设均对应不寻常事件）是否发生，如果

7.1 参数分布估计分布估计问题：从观察变量出发，估计一个随机变量的概率密度。参数分布估计：从一族概率密度（x的似然函数，每个概率分布对应一个参数向量x）中，选择一个概率密度。最大似然估计参数估计：根据观测到的服从分布的一个样本y，估计参数x的值。而最大似然估计，则是选择是的似然函数在y的观测值处最大的那个参数作为x，直白地说，已知y的观测值，找到使y得观测值出现的概率最大的参数x。即，其中y是观测值。而事实上，考虑似然函数的对数更加方便，记，称为对数似然函数，故于是最大似然估计

范数逼近Since thel1norm is not differentiable at0, solvingis much more computationally expensive than solvingwhereis the variable.最小范数问题Letbe optimal for the least-norm problemwith variableand.Which of the following is true? (C...

6.4 鲁棒逼近随机鲁棒逼近 最坏情况鲁棒逼近逼近的基本目标为，但是希望考虑到矩阵A的不确定性。随机鲁棒逼近：假设A是随机变量，极小化最坏鲁棒逼近：在A的取值中，极小化随机鲁棒逼近假设A是在中取值的随机变量，均值为，因此可以将A描述为，U为零均值随机变量。自然地，用的均值作为目标函数，即这一问题称为随机鲁棒逼近问题。举一简单的例子，假设A具有有限个可能值，且其中​​，​​​​于是问题具有如下形式：此问题称为范数和问题，，也可以表述为：考虑随机鲁棒最小二乘问题：

6.3 正则化逼近双准则式 正则化 例子双准则式目标是寻找向量x使其较小，而且使得残差Ax-b也较小。即其中，两个范数分别在上。解释：（1）估计解释：线性y=Ax+v,x是估计值，v是噪声，y是测量值，先验知识为x很小，目标就是在y=b的时候照的最好的估计值x。（2）最优设计：x越小越偏析越高效，模型y=Ax只对较小的x有效。（3）鲁棒性解释：目标函数为Ax-b，当A有误差e时，目标变成了(A+e)x-b=Ax-b+ex，x越小对结果造成的误差越小。正则化最常见的正

6.2 最小范数问题最小范数问题具有如下形式：其中，为上一种范数，A的行向量相互独立，，m=n时唯一可行解是，无意义，所以只有当时，方程Ax=b不定时，最小范数问题才有意义。即解释：（1）几何解释：可行集是是仿射集合，目标函数是在下x和0的距离。即在仿射集合中找到距离0最近的点。（2）估计解释：假设x为待估计的变量，有m<n个很好地线性测量值，由Ax=b给出，但是测量值少于待估计的参数，所以会有很多的满足测量值得估计向量，在这些估计向量中找到一个在范数下最小的。（3）设

6.1 范数逼近基本的范数逼近问题 罚函数逼近基本的范数逼近问题其中，且是一种范数。范数逼近问题的解有时又被称为在范数的近似解。表示问题的残差。解释：（1）几何解释：在A的列空间上找到一个在范数下离b最近的点。（2）估计的解释：假设y=Ax+v，y是测量值，v是噪声，x是待估计的参数向量。给定y=b，找到最好的估计值，使得最小。（3）设计的解释：x是设计变量，b是期望得到的最好的结果，而Ax是实际的结果，找到最好的设计值，使得最小。例子（1）最小二乘逼近：

Lagrange对偶问题The dual function provides a lower bound on the optimal value for convex optimization problems only.对偶函数可以为任意优化问题的最优值提供下界。The dual function of an optimization problem evaluated at some(λ,ν), withλ⪰0, is equal to 42. Enter a number tha..

5.9 广义不等式Lagrange对偶 最优性条件Lagrange对偶其中是正常锥。对于问题中的每个广义不等式，引入Lagrange乘子向量，，并定义相关的Lagrange函数：对偶函数：弱对偶性：如果，即广义不等式的Lagrange乘子必须是对偶非负的，则对偶问题：弱对偶性始终成立。在广义不等式的情况下，强对偶性成立的条件：原问题是凸的且满足约束条件（Slater条件）对于如下问题：其中是凸函数，是凸的，其Slater条件：如果Sla

5.7 例子引入新的变量以及相应的等式约束 隐式约束一个问题的等价问题会得到非常不一样的对偶问题。有些时候利用原问题的等价问题是非常有用的，因为原问题的对偶问题可能很难求解或者不是我们所感兴趣的，而其等价问题的对偶问题却容易求解。引入新的变量以及相应的等式约束例子1考虑如下无约束问题：此问题的对偶问题是他本身，没有什么意义。现在引入新的变量y，y=Ax+b，此时问题：此时问题与原问题等价，此问题的对偶函数是：通过对x极小化，存在下界当且仅当，对y极小化所以

5.6 扰动及灵敏度分析扰动的问题 全局不等式 局部灵敏度分析扰动的问题原问题和对偶问题扰动的问题：表示放宽约束，表示加紧约束。记为扰动后问题的最优值。扰动后的对偶问题：全局不等式假设强对偶性成立，且对偶问题可以达到最优值，且是未扰动的对偶问题的最优解，有如下结论：证明：根据强对偶性：，假设x是扰动问题的任意可行解，根据定义，可知又因为扰动后的约束条件变成：所以灵敏度解释如果比较大，加强第i个约束，即，则最优值会大幅增加。

5.5 最优性条件互补松弛性 KKT最优性条件互补松弛性假设问题具有强对偶性，为其原问题的最优解，为其对偶问题的最优解，可知：根据对偶函数的定义，可知小于等于任意的所以取时，也成立，故再根据可知所以上述不等式的等号成立。推出两点：（1）最小化（2）上式等号成立，即：且（等式约束），所以可推出，而所以，成为互补松弛性。也可写成：KKT最优性条件非凸问题的KKT条件和前面一样，假设问题的约束函数和目标函数可微，为其原

5.3 几何解释对偶函数的解释 上境图对偶函数的解释简单考虑只有一个不等式约束定义已知对偶函数：所有对偶函数相当于在G上极小化，得到斜率为的支撑超平面。下图，t表示，u表示约束函数值原优化问题在于在约束条件下找到最小的t，G为约束函数值和目标函数值的所有取值的集合，约束函数为，即在坐标轴左侧找最小的t，故找到最优解（如上图）。上图三条直线则表示三个对应的支撑超平面，与t轴的交点是的取值。上境图形式可以将A理解为G的上境图形式，包含了G中所有的点

5.2 Lagrange对偶问题Larange对偶问题 弱对偶性 强对偶性和slater约束准则 例子Lagrange对偶问题对于任意的一组，对偶函数给出了优化问题的最优值的一个下界。从Lagrange函数能够得到的最好下界是什么？将此问题转化为优化问题：上述问题为原问题的Lagrange对偶问题，且是一个凸优化问题，因为是凹函数。如果是Lagrange对偶问题的最优解，则称是对偶最优解或最优Lagrange乘子。标准形式线性规划的对偶问题Lagrange对偶函数是

5.1 Lagrange对偶函数Lagrange Lagrange对偶函数 最优值的下界 例子 Lagrange对偶函数和共轭函数Lagrange标准形式的优化问题：其中，问题的定义域，注意这里不要求该优化问题是凸优化问题。定义问题的Lagrange函数为：定义域：，为第i个不等式约束对应的Lagrange乘子，为第i个等式约束对应的Lagrange乘子。向量为对偶变量或者问题的Lagrange乘子向量。Lagrange对偶函数定义Lagrange对偶函数为La