最优化
jj_千寻
qq:425776024
展开
-
Pareto集
一个MOP,对于一组给定的最优解集,如果这个集合中的解是相互非支配的,也即两两不是支配关系,那么则称这个解集为Pareto Set 。多目标问题:转载 2019-02-15 13:55:58 · 5258 阅读 · 0 评论 -
《最优化导论》-9牛顿法
牛顿法用到了目标函数的1、2阶导数,可能会更高效。1.思想:构造目标函数的近似函数:1.2泰勒展开到二阶,可以得到函数f(x)的近似函数:1.3对近似函数q(x)求极小值,得到迭代形式:1.4流程:2.二次型中牛顿法二次型中,牛顿法只需一次迭代即可从任意初始点x(0)收敛到f的极小的x*,满足在x*的梯度=0。问题,有时候随机初始点离极小/大点较远时...原创 2019-02-18 10:12:15 · 1492 阅读 · 0 评论 -
《最优化导论》-10共轭方向法
1.共轭方向法效率位于最速下降和牛顿法之间,优点:1.1共轭:关于对称实矩阵Q共轭关于对称正定矩阵Q共轭1.2基本共轭方向算法流程:n步之内收敛到全局极小点,证明:10.11.3共轭方向的迭代,每次ak都是最佳步长:2.共轭梯度法不需要先给定共轭方向,而是根据迭代不断产生2.1共轭梯度的3种修正共轭梯度每次都要计算黑塞矩阵...原创 2019-02-18 10:22:09 · 4005 阅读 · 0 评论 -
《最优化导论》-11拟牛顿法
1.基本思想1.1基本缺陷需要计算黑塞矩阵,需要求矩阵的逆运算1.2拟牛顿法思想构造黑塞矩阵的逆的近似:拟牛顿法中,如果找到合适的近似构造矩阵Hk,在迭代中就不需要任何黑塞矩阵,及线性方程逆运算的计算工作了。1.3构造黑塞矩阵逆矩阵的近似其中,在二次型函数中,ak都可以用公式直接求最佳步长。1)秩1算法例:2)秩2算法/DFP算法...原创 2019-02-18 10:26:23 · 1669 阅读 · 0 评论 -
《最优化导论》-12求解线性方程组
1.最小二乘分析1.1最小向量求解1)几何分析:2)求导2.递推最小二乘法对不断加入的新的数据,更新参数。某个问题是寻找合适的x让最小,用前面的可以求得x*。如果增加了新的数据,用A1和b1表示,那么现在整个问题就变成了寻找x,使得:最小。分析:这样,通过原来的数据,和新加入的数据,就可以得到新的x(1)了,这样只需要在原来的基础上计算,...原创 2019-02-18 10:42:47 · 690 阅读 · 0 评论 -
《最优化导论》-17对偶
1.对偶线性规划每个对偶问题都有一个与之对应的对偶问题,形式:1.1等式约束转不等式约束1.2对称、非对称形式对偶关系非对称的没有>=0约束1.3弱对偶定理对偶问题不大于原问题弱对偶定理可得出最优解的情况:1.4对偶定理通过对偶问题,可以得到原问题的解: ...原创 2019-02-19 09:37:43 · 351 阅读 · 0 评论 -
《最优化导论》-20等式约束优化
1等式约束形式3切线空间、法线空间切线空间和法线空间互补。4拉格朗日中值定理条件标量λ称为拉格朗日乘子;图中x*在集合h(x)=0中,x*处h(x)的梯度与f(x)的梯度平行。4.1拉格朗日条件是必要条件但不是充分条件推广:4.2拉格朗日严格局部极小点6线性约束下的二次型极小化例:构造拉格朗日可解...原创 2019-02-19 09:37:51 · 646 阅读 · 0 评论 -
《最优化导论》-21不等式约束优化
1一般形式1.1起作用、不起作用约束1.2KKT条件在上面的包含等式、不等式的约束形式下:分析:u和g(x*)至少一个为0,既g起作用时u可以>=0,g不起作用时u=0几何解释:总结:g>=0的情况:u与g方向上极小点相反,极大点相同。推广: ...原创 2019-02-19 09:37:58 · 1873 阅读 · 0 评论 -
《最优化导论》-22凸函数
1凸函数、凸集定义2.凸函数性质1)定义2)线性关系3)严格凸函数4)凹函数与凸函数性质相反5)判定二阶导>0/正定,凸函数;<0/负半定,凹函数。6)凸优化中,局部极小点就是全局极小点。...原创 2019-02-19 09:38:05 · 2195 阅读 · 0 评论 -
《最优化导论》-23有约束优化的求解算法
1.形式2.投影法通常迭代形如:2.1当有约束时,这类算法迭代出的点很可能不满足约束,可以使用投影形式,然点投影到约束内,u,l为约束范围:这样对上面的迭代形式进行改进,然每次迭代后的点保持在约束内:2.2投影梯度法 3.线性约束优化的投影3.1 投影算子P线性约束时,投影算子是正交投影矩阵P:存在约束时,负梯度方向并不一定就是可行方...原创 2019-02-19 09:38:12 · 2086 阅读 · 0 评论 -
《最优化导论》-8梯度方法
1.梯度迭代a>0时,负梯度方向,是函数值下降方向1.1梯度下降法当接近极小值时,梯度接近0,通用形式如下,有一些具体实现:1)最速下降法梯度下降的一种具体实现,理念是在每次迭代时,选择最佳合适的步长ak,使得目标函数值最大程度的减少。流程:初始迭代点出发,沿负梯度方向开展前面说的一维搜索,找到最优步长a,从而确定新的迭代出发点,不断这样,直至收敛(实际小...原创 2019-02-18 10:07:37 · 1380 阅读 · 0 评论 -
《最优化导论》-7一维搜索方法
讨论的是函数为一元的单值函数1.黄金分割法期望按照比例压缩查找区间,逼近极小点: 按照这类比例压缩,不断取值比较左右点大小,缩小区间范围,直到逼近。2.斐波那契数列:和黄金分割类似,只是比例按照斐波那契数列的规则压缩区间3.二分法:和黄金分割类似,只是比例按0.5二分压缩。4.牛顿法1)泰勒展开,构造对 f(x) 的近似 q(x)2)迭代形式...原创 2019-02-18 10:01:36 · 651 阅读 · 0 评论 -
《最优化导论》-6集合约束和无约束优化问题基础
1.无约束形式f(x)为价值/目标函数1.1极小点2.局部极小点条件2.1可行方向2.2可行方向上的导数:2.3可行方向上的增长率/方向导数2.4一阶必要条件1)在约束集上:方向导数>=02)在约束集内:梯度=02.5二阶必要条件1)约束集上:方向导数=0,且二阶导半正定2)约束集内:梯度=0,二阶到...原创 2019-02-18 09:43:47 · 1102 阅读 · 0 评论 -
常见测试函数
CEC上有很多这类函数,但是国内好像访问不了。但是可以百度得到,这里总结一些:这个链接有更详细的函数介绍:http://www.sfu.ca/~ssurjano/optimization.htmlAckley Function Bukin Function N. 6 Cross-in-Tray Function Drop-Wave Function Eggholder Functi...原创 2019-02-15 14:01:14 · 43460 阅读 · 18 评论 -
约束优化
对于带约束的优化问题,包括多目标优化,可以:1)把约束转成无约束的问题2)对超出约束条件的,施加惩罚,如基于适应度等评价的算法对相应的超规解的适应度值进行降低等。............ ...原创 2019-02-15 15:33:15 · 1215 阅读 · 0 评论 -
正交投影矩阵-原理及推导
来自:https://blog.csdn.net/tengweitw/article/details/41174555二维投影上图表示的是,向量b在向量a上的投影。显然有例如以下表达式:当中,P为投影矩阵,由P的表达式能够看出,它具有例如以下性质:三维投影 三维投影,就是将一个向量投影到一个平面上。同上面一样,如果是将b向量投影到平面上的p向量,则有表达式:...转载 2019-02-15 15:51:42 · 53872 阅读 · 6 评论 -
向量范数、矩阵范数、矩阵求导
向量范数:矩阵范数:矩阵范数和向量的有所不同矩阵求导标量对矩阵求导矩阵对标量求导向量对向量求导原创 2019-02-15 21:09:09 · 2829 阅读 · 0 评论 -
ML-sklearn参数随机优化:GridSearchCV、RandomizedSearchCV、hyperopt
目录1 GridSearchCV:网格式暴力搜索2.RandomizedSearchCV:采样式搜索3.hyperopt:贝叶斯优化总结全都在:sklearn.model_selection里面的https://scikit-learn.org/stable/modules/classes.html#hyper-parameter-optimizers1 GridSearc...原创 2019-02-21 22:27:08 · 3922 阅读 · 0 评论 -
《最优化导论》-2向量空间与矩阵
三角不等式柯西-施瓦茨不等式 任意两向量x,y∈Rn,有:成立;当且仅对有常数a,x=ay时,等式成立。转载 2019-02-19 09:38:37 · 499 阅读 · 0 评论 -
《最优化导论》-3变换
线性变换:Y=Ax 相似: 特征值、特征向量: 对称阵:A=AT、实对称矩阵:特征值都是实数,特征向量相互正交 正交矩阵: 正交投影 二次型:f(x)=,正负定、半正负定 西尔维斯特准则:正定,当且仅当Q顺序主子式是正定的 矩阵范数 ...转载 2019-02-18 09:26:09 · 729 阅读 · 0 评论 -
《最优化导论》-4有关几何的概念
1.线段x和y之间的线段可以表示为:{ax+(1-a)y:a∈[0,1]}2.超平面与线性簇:超平面可以写成:{x∈Rn:uTx=v} , u=[u1,u2,...,un]T,超平面把空间Rn划分 成uTx<=v、uTx>=v的两半3.凸集u和v两点之间的线段可以表示为:{ w = au+(1-a)v : a∈[0,1]},其中w = au+(1-a)v : a∈[...原创 2019-02-18 09:29:34 · 421 阅读 · 0 评论 -
《最优化导论》-5微积分基础
1.极限、收敛、有界2.可微性 3.矩阵导数3.1矩阵的导数/雅可比矩阵:Df(x0):3.2梯度:雅可比的转置3.3梯度的导数/黑塞矩阵F(x)二次连续可微,黑塞矩阵对称4.微分法则h(t)=g(f(t)): 5.梯度是正交水平集切向量 5.1某点处梯度是函数在此点处下降最快的方向5.2泰勒级数...原创 2019-02-18 09:36:20 · 488 阅读 · 0 评论 -
《最优化导论》-24多目标优化
1.背景其它类型如极大化所有目标可以转换成上面类型。 2.帕累托解帕累托点:在所有函数上,没有其它解在比他更优(没有点支配它)。帕累托前沿:帕累托点组成的集合面。3.帕累托前沿求解帕累托解并不是一个,整个前沿面都是等价平等的,求解帕累托解既求解帕累托解前沿集合,需要迭代找出多个帕累托点,组成前沿面。目前会NSGA\MOEAD迭代求解前沿面:NSGA:ht...原创 2019-02-19 09:38:19 · 1027 阅读 · 0 评论