清风吹斜阳

9.4最速下降方法对f(x+v)在x处进行一阶Taylor展开：其中是f在x处沿方向v的方向导数令是上的任意番薯，顶一个规范化的最速下降方向：一个规范化的最速下降方向是一个能使f的线性近似下降最多的具有单位范数的步径。也可以将规范化的最速下降方向乘以一个特殊的比例因子，从而考虑下述非规范化的最速下降方向：其中表示对偶范数。对于这种最速下降步径，有：不同范...

6.1范数逼近基本的范数逼近问题 罚函数逼近基本的范数逼近问题其中，且是一种范数。范数逼近问题的解有时又被称为在范数的近似解。表示问题的残差。解释：（1）几何解释：在A的列空间上找到一个在范数下离b最近的点。（2）估计的解释：假设y=Ax+v，y是测量值，v是噪声，x是待估计的参数向量。给定y=b，找到最好的估计值，使得最小。（3）设计的解释：x是设计变量，...

Lagrange对偶问题The dual function provides a lower bound on the optimal value for convex optimization problems only.对偶函数可以为任意优化问题的最优值提供下界。The dual function of an optimization problem evaluated at ...

5.9广义不等式Lagrange对偶 最优性条件Lagrange对偶其中是正常锥。对于问题中的每个广义不等式，引入Lagrange乘子向量，，并定义相关的Lagrange函数：对偶函数：弱对偶性：如果，即广义不等式的Lagrange乘子必须是对偶非负的，则对偶问题：弱对偶性始终成立。在广义不等式的情况下，强对偶性成立的条件：原问题是凸的且满足约束...

5.7例子引入新的变量以及相应的等式约束 隐式约束一个问题的等价问题会得到非常不一样的对偶问题。有些时候利用原问题的等价问题是非常有用的，因为原问题的对偶问题可能很难求解或者不是我们所感兴趣的，而其等价问题的对偶问题却容易求解。引入新的变量以及相应的等式约束例子1考虑如下无约束问题：此问题的对偶问题是他本身，没有什么意义。现在引入新的变量y，y=Ax+b，此时问题：...

极值体积椭圆 Let  be a polyhedron described by a set of linear inequalities, and a a point in . Which of the following problems are easy to solve? Check all that apply. (Easy means the solution can be fou...

8.6分类线性判别 非线性判别线性判别在线性判别中，寻找仿射函数用以区分这些点，即在几何意义上，即寻找分离两个点集的超平面。因为严格不懂呢过是对于a和b是齐次的，所以它们是可行的，当且仅当不严格不等式组：是可行的。下图是两个点集即线性判别函数的例子。鲁棒线性判别如果两个集合可以倍被别，那么存在一个可以分离它们的仿射函数的多面体，于是我们可以从中选择某些稳...

8.5中心Chebyshev中心 最大体积椭球中心 不等式组的解析中心Chebyshev中心多面体的Chebyshev中心设C是有线性不等式组定义，如果，则于是Chebyshev中心可以通过求解线性规划：最大体积椭球中心定义C中具有最大体积椭球的中心为C的最大体积椭球中心，记为，如下图。不等式组的解析中心一组凸不等式和线性方程的解析中心定义为凸...

极大似然估计Let  be independent samples from an N(μ,Σ) distribution, where it is known that , where  and  are given positive definite matrices. Which of the following is true?最优检测器设计Consider a binar...

7.5实验设计松弛实验设计问题 标量化考虑通过测量或实验：估计向量的问题，其中是测量噪声。假设是独立同分布的高斯噪声，均值为0，方差为1。于是x的最大似然估计，也是最小方差估计：目标函数对x求偏导，得到：令其为0，解得，故极大似然估计的解为：相应的估计误差：均值为0，协方差矩阵：矩阵E刻画了估计经度或是实验的信息度。例如x的-置信水平椭圆为：其中是常熟，...

7.3最优检测器设计及假性检验二值假设检验检测问题 随机检测器 检测概率矩阵 检测器设计的多准则表述 标量化检测问题：假设X是随机变量，在中取值，其概率密度分布和参数的取值有关，对的m个可能值，X的概率密度分布可以由矩阵表征，其元素为：，即矩阵的第j列对于参数值的概率分布。对的m个可能值称为m个假设，我们需要从假设中猜想哪个是正确的，这个问题称为假设检验，而假设检验也可以...

8.4极值体积椭圆Lowner-John椭球 最大体积内接椭球 椭球逼近的效率Lowner-John椭球包含集合C的最小体积椭球被成为集合C的Lowner-John椭球，记为，为方便描述的特征，将一般的椭球参数化为即Euclid球在仿射映射下的原象。可以不是一般性地假设，此时的体积正比于。计算包含C的最小体积椭球的问题可以表述为：其中，且存在一个隐含约束。目标函数和约束函...

6.2最小范数问题最小范数问题具有如下形式：其中，为上一种范数，A的行向量相互独立，，m=n时唯一可行解是，无意义，所以只有当时，方程Ax=b不定时，最小范数问题才有意义。即解释：（1）几何解释：可行集是是仿射集合，目标函数是在下x和0的距离。即在仿射集合中找到距离0最近的点。（2）估计解释：假设x为待估计的变量，有m<n个很好地线性测量值，由Ax=b给出，但是测...

1矩阵结构与算法复杂性基于浮点运算次数的复杂性分析 基本的矩阵-向量运算成本求解线性方程组，A为系数矩阵，b为右边项。求解该方程组的一般性彼岸准方法所需要的计算量大约和成比例。但如果A具有特殊的结构，比如对称矩阵，对角矩阵，系数矩阵等，可以大大减少计算量。基于浮点运算次数的复杂性分析数值线性代数算法的成本经常表示为完成算法所需要的浮点运算次数关于各种问题维数的函数。浮点运算次数...

9.3梯度下降方法梯度下降方法 例子梯度下降方法用负梯度做搜索方向，即令，这种下降方法称为梯度下降方法：给定初始点重复进行 直线搜索：通过精确或回溯直线搜索方法确定步长t 修改：直到满足停止条件停止准则通常取为：，其中是小正数。一般情况下步骤１１完成后就检验停止条件而不是在修改后才检验。例子空间的二次问题考虑上的二次目标函数：，显然最优点是。f的海瑟矩...

无约束优化The solution to the following problemwithandm>n, whereAhas full (column) rankn, isWhich stopping criteria are reasonable when solving an optimization problemminimize f(x)u...

9.2下降方法下降方法将产生一个优化点列其中，且。是一个向量表示步径或搜索方向。标量被称为第k次迭代的步长。方法的思想：只有不是最优解，就找一个比更好的点。由目标函数凸性可知（一阶特征），可知时，，于是可知，而在下降方法中显然，而且要求，故下降方法中的搜索方向必须满足，即它和负梯度放心的夹角必须是锐角。这样的方向为下降方向。下降方法：确定下降方向，然后选择步长t，其一般框架如下：...

9.1无约束优化问题例子 强凸性及其含义无约束优化问题其中是二次可微凸函数（dom(f)是开集），假设该问题可解，存在最优点，这里用表示最优值。由于f是二次可微凸函数，最优点应满足：所以无约束优化问题的求解变成了求解上述方程的解。一般情况下，必须采用迭代算法求解此方程，即计算点列使得时，，这样的点列被称为优化问题的极小化点列。当时，算法将终止，其中是设定的容许误差值。初始点...

数据CIFAR10，下载python版本。作业内容实现一个knn分类器，用次knn分类似对CIFAR10的数据进行训练和预测。knn分类器：knn分类器额工作分为两部（１）训练：读取训练数据并存储训练数据。（２）测试：对于每一个测试图像，knn计算它与每一个训练集的距离，找出距离最近的k个训练图像，这k个图像中，占数目最多的标签类别，就是测试图像的预测类别。而计算图像之间的...

4分块消元与Schur补消除部分变量 逆矩阵引理消除部分变量考虑Ax=b，将变量分为凉快或两个子向量对线性方程组Ax=b做同样的划分，其中假设可逆，则按以下方式消去，，再将其代入第二个方程得到其中是矩阵A的第一个分块矩阵的Schur补。当且仅当A非奇异时，Schur补S是非奇异矩阵。通过分块消元求解线性方程组给定非奇异线性方程组Ax=b，其中非奇...

范数逼近Since the l1 norm is not differentiable at 0, solvingis much more computationally expensive than solvingwhere  is the variable.最小范数问题 Let  be optimal for the least-norm problem...

6.3正则化逼近双准则式 正则化 例子双准则式目标是寻找向量x使其较小，而且使得残差Ax-b也较小。即其中，两个范数分别在上。解释：（1）估计解释：线性y=Ax+v,x是估计值，v是噪声，y是测量值，先验知识为x很小，目标就是在y=b的时候照的最好的估计值x。（2）最优设计：x越小越偏析越高效，模型y=Ax只对较小的x有效。（3）鲁棒性解释：目标函数为Ax-b，当...

3LU Cholesky和因式分解LU因式分解 Cholesky因式分解 因式分解LU因式分解每一个非奇异矩阵都可以因式分解成A=PLU，其中是排列矩阵，是单位下三角矩阵，是非奇异上三角矩阵。这种形式被成为Ａ的LU因式分解。也可以写成。计算LU因式分解的标准算法被称为Gauss部分主元消元法，或Gauss行变换消元法。不考虑Ａ的结构，计算Ａ的LU因式分解的成本是。通过LU因式...

矩阵结果与算法复杂性Algorithm flop counts allow for very accurate and precise prediction of running time on a given computer.About how long does a 1 Gflop computer take to solve a system of 100 linear equ...

2求解已经因式分解的矩阵的线性方程组容易求解的线性方程组 因式分解求解方法容易求解的线性方程组先讨论矩阵A是n维可逆矩阵的情况，即对角矩阵假设A是非奇异对角矩阵，线性方程组Ax=b可以写成，方程组的解为，即经过n次浮点运算即可。下三角矩阵矩阵A是n维非奇异下三角矩阵：即，下三角矩阵非奇异的充要条件是对所有的i成立。此时Ax=b可以写成：可推出：共需要...

5.6扰动及灵敏度分析扰动的问题 全局不等式 局部灵敏度分析扰动的问题原问题和对偶问题扰动的问题：表示放宽约束，表示加紧约束。记为扰动后问题的最优值。扰动后的对偶问题：全局不等式假设强对偶性成立，且对偶问题可以达到最优值，且是未扰动的对偶问题的最优解，有如下结论：证明：根据强对偶性：，假设x是扰动问题的任意可行解，根据定义，可知又因为扰...

5.5最优性条件互补松弛性 KKT最优性条件互补松弛性假设问题具有强对偶性，为其原问题的最优解，为其对偶问题的最优解，可知：根据对偶函数的定义，可知小于等于任意的所以取时，也成立，故再根据可知所以上述不等式的等号成立。推出两点：（1）最小化（2）上式等号成立，即：且（等式约束），所以可推出，而所以，成为互补松弛性。也可...

5.3几何解释对偶函数的解释 上境图对偶函数的解释简单考虑只有一个不等式约束定义已知对偶函数：所有对偶函数相当于在G上极小化，得到斜率为的支撑超平面。下图，t表示，u表示约束函数值原优化问题在于在约束条件下找到最小的t，G为约束函数值和目标函数值的所有取值的集合，约束函数为，即在坐标轴左侧找最小的t，故找到最优解（如上图）。 上图三条直线则表...

2.6对偶锥与广义不等式对偶锥 广义不等式的对偶 对偶不等式定义的最小元和极小元对偶锥锥K的对偶锥是集合如上图左图的y是K的对偶锥的一个元素，右图z不是K的对偶锥的元素，几何上看当且仅当-y是K在原点的一个支撑超平面的法向量。广义不等式的对偶如果K是正常锥，则K可导出一个广义不等式，并且K的对偶也是正常锥，其对偶也可以导出一个广义不等式。定义：广义不等式为广义不等...

2.5分离与支撑超平面超平面分离定理 支撑超平面超平面分离定理假设C和D是两个不相交的凸集，即，那么存在和b，使得为集合C和D的分离超平面。支撑超平面定理支撑超平面：假设集合，是其边界bdC上的一点，如果，并且，则超平面为集合C在点处的支撑超平面。支撑超平面定理：如果集合C是凸集，那么在C的每一个边界点，均存在支撑超平面。 ...

2.4广义不等式正常锥与广义不等式 最小元和极小元正常锥一个锥K是正常锥需要满足以下几个条件：K是凸的 K是闭的 K是实的，具有非空内部 K是尖的，不包含直线广义不等式用正常锥可以定义广义不等式，即上的偏序关系。严格偏序关系:当时，这种偏序关系也就是R上实际的例子：分量不等式：矩阵不等式:，半正定。广义不等式的性质：对于加法保序： 传递...

2.3保凸运算交集 仿射函数 线性分式及透视函数交集几个凸集的交集也是凸集。仿射函数假设仿射函数仿射函数有两个特性：凸集S在仿射函数f下的像是凸的。 凸集S在f的原像是凸的。，（注，数学上函数存在反函数，当且仅当函数是一一映射且是满射，但是在这个定义里面，不要求函数f具备这样的条件。）这里书中给出对凸集S进行伸缩和平移后得到的集合仍为凸集，两个凸集的和仍为凸集。...

2.2重要例子1 空集、单点集、都是的仿射2 任意直线都是仿射3 一条线段是凸的，但不是仿射4 射线是凸的，但不是仿射5 任何子空间都是仿射的、凸锥超平面与半空间超平面数学上超平面是具有下列形式的集合:从上式看出，超平面其实是线性方程的解空间。从几何上看，超平面其实是以a为法向量的平面。如下图：半空间半空间数学上的定义是几何上是：...

第二章凸集主要内容:仿射集合和凸集 重要例子 保凸运算 广义不等式 分离和支撑超平面 对偶锥与广义不等式2.1仿射集合和凸集仿射集合仿射集合：集合中任意两个不同点的直线仍然在集合中，那么称集合是仿射集合。如上图，对于，取不同的可以得到不同的点，这些点构成了经过的直线。如果将两个点扩展到多个点，引出仿射组合的概念，首先，则具有的形式的点为的仿射组合。仿...

3.6关于广义不等式的凸性定义设是一个正常锥，对应的广义不等式，函数是K-凸的，如果矩阵凸性设函数f是对称矩阵值函数，即，称函数f关于矩阵的不等式是凸的如果，这种凸性为矩阵凸性。其等价的定义是对任意的向量z，标量函数都是凸函数。例子函数是凸的证明：现证的凸性因为故上式所以函数是凸的，所以 ...

水平集1)Some level sets of a function f are shown below. The curve labeled 1 shows,etcWhich of the following properties could f have?由图像可看出f(x)的下水平集是凸集，故函数是拟凸函数，但不能由下水平集是凸集而判断函数是凸函数还是凹函数。而函数上水平...

4.2凸优化标准形式的凸优化问题 局部最优解与全局最优解 可微函数的最优性准则 等价的凸问题 拟凸优化标准形式的凸优化问题是凸函数，等式约束是仿射函数。则此优化问题是凸优化问题。也可以写成重要性质：凸优化问题的可行集也是凸集。证明：可行集是满足不等式约束和等式约束的点的集合，首先不等式约束函数是凸函数，满足不等式约束的x，相当于是的0-下水平集，凸函数的下水平...

4.1优化问题基本术语 问题的标准表示 等价问题 参数与谕示问题描述基本术语是优化变量也叫决策变量。为目标函数，或者费用函数。是不等式约束函数。是等式约束函数。如果m=p=0，即没有约束，此时问题为无约束问题。在实际生活中可以这样理解该优化问题，即我们要生产产品，其数量为x，要确定生产数量以使得费用最低，而约束函数则可以理解为在实际产生中受到的限制比如资源消...

4.6广义不等式约束锥形式问题 半定规划 例子广义不等式约束将不等式约束函数扩展为向量，并使用广义不等式，得到：其中，为正常锥，为凸的。则称此问题为广义不等式意义下的凸优化问题。结论：可行集、任意下水平集和最优集都是凸的。 上述问题的任意局部最优解都是全局最优解。 可微函数的最优性条件都成立。锥形式问题锥形式问题也称锥规划，有线性目标函数和一个不等式约束函数...

3.1基本性质和例子定义 扩展值延伸 一阶条件 二阶条件 例子 下水平集 上境图 Jensen不等式及其扩展 不等式定义函数f是凸函数，当f的定义域S是凸集，且严格凸函数：从几何上来看，如下图，函数f上的任意两点之间的弦都在函数图像之上。函数f是凸函数，当且仅当在与函数f的定义域S相交的任何直线上，f均是凸的。当且仅当g(t)是凸的，f(x)是凸的...