最优化算法(optimization algorithm)
文章平均质量分 93
主要是介绍相关优化算法,如梯度下降、启发式算法等基本理论及python实现
Trisyp
及时总结,套路套路套路!!!
展开
-
灰色预测模型GM(1,1)的全面讲解及python实现
1. 灰色预测的概念(1)灰色系统、白色系统和黑色系统白色系统是指一个系统的内部特征是完全已知的,既系统信息是完全充分的。黑色系统是一个系统的内部信息对外界来说是一无所知的,只能通过它与外界的联系来加以观测研究。灰色系统介于白色和黑色之间,灰色系统内的一部分信息是已知的,另一部分信息是未知的,系统内各因素间有不确定的关系。(2)灰色预测法所以灰色预测就是通过这样的信息前提下做的一种预测分析,即灰色预测法是一种预测灰色系统的预测方法。灰色预测通过鉴别系统因素之间发展趋势的相异程度,原创 2020-05-27 10:21:03 · 22286 阅读 · 28 评论 -
梯度下降法的全面讲解及python实现
函数的梯度方向表示了函数值增长速度最快的方向,那么和它相反的方向就可以看作函数值减少速度最快的方向。就机器学习模型优化的问题而言,当目标设定为求解目标函数最小值时,只要朝着梯度下降的方向前进就能不断逼近最优值。最简单的梯度下降算法—固定学习率的方法,这种梯度下降算法由两个函数和三个变量组成。函数1:待优化的函数f(x),它可以根据给定的输入返回函数值函数2:待优化函数的导数g(x),它可以根据给定的输入返回函数的导数值变量x:保存当前优化过程的参数值,优化开始时该变量将被初始化为某个数值,优原创 2020-05-14 20:03:31 · 3431 阅读 · 1 评论 -
模拟退火算法(Simulated Annealing,SA)的全面讲解及python实现
抽象来源:美国物理学家Metropolis等人在1953年发表研究复杂系统,计算其中能量分布的文章时,使用蒙特卡洛模拟法计算多分子系统中分子能量分布。Kirkpatrick等人受其启发而发明了“模拟退火”这个名词,它模仿冶金过程中的退火原理,因为寻找问题的最优解(最值)即类似寻找系统的最低能量。因此系统降温时,能量也逐渐下降,而同样意义地,问题的解也“下降”到最值 核心思想:在冶金退火过程中,退...原创 2020-03-18 21:22:26 · 5889 阅读 · 1 评论 -
遗传算法(Genetic Algorithms)的全面讲解及python实现
一、主要思想遗传算法的工作方式源自于生物学,是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型,是一种通过模拟自然进化过程搜索最优解的方法。其主要特点是直接对结构对象进行操作,不存在求导和函数连续性的限定;具有内在的隐并行性和更好的全局寻优能力;采用概率化的寻优方法,不需要确定的规则就能自动获取和指导优化的搜索空间,自适应地调整搜索方向。具体流程见下图:传统上看,这...原创 2020-01-09 09:10:43 · 11226 阅读 · 2 评论 -
粒子群(PSO)优化算法(Particle Swarm Optimization)的全面讲解及python实现
1. 研究背景它的基本概念源于对鸟群觅食行为的研究。设想这样一个场景:一群鸟在随机搜寻食物,在这个区域里只有一块食物,所有的鸟都不知道食物在哪里,但是它们知道当前的位置离食物还有多远。最简单有效的策略:寻找鸟群中离食物最近的个体来进行搜索。PSO算法就从这种生物种群行为特性中得到启发并用于求解优化问题。用一种粒子来模拟上述的鸟类个体,每个粒子可视为N维搜索空间中的一个搜索...原创 2020-01-06 17:29:50 · 4878 阅读 · 1 评论 -
拉格朗日乘子法详解
一、拉格朗日乘子法简介拉格朗日乘子法的应用十分广泛,它是SVM的理论基础,是凸优化的重要研究部分。它用于求解约束条件下的极值问题,过程简单巧妙,也是各类考试的常考题型。然而,拉格朗日乘子法的原理我却一直模模糊糊,每次看的时候才知道,一段时间不看就又忘了,所以特地写这篇博客来供自己时刻学习。先从一个简单的例子开始:假如我们需要求一个函数的最小值,即,约束条件为。我们用拉格朗日乘子法来求解:首先用描述约束条件,即。而后引入拉格朗日乘子λ,并构造一个新的函数:因为,于是,因此当取得极小值.原创 2021-07-27 14:22:25 · 32898 阅读 · 9 评论 -
Fisher最优分割法(附python实现)
1 最优分割法简介最有分割法是对有序样品的一种聚类方法。当样品是按顺序排列,在分类中不允许打破样品的顺序。即 ,对 个有序样品进行分割,就可能有 种划分方法,这每一种分法称为一种分割。在所有的这些分割中,找到一种分割法,这种分割法使得各段内样品之间的差异最小,而各段之间的差异最大。这种对 个样品分段并使组内离差平方和最小的分割方法,称为最优分割法。段内数值变化可用变差或者极差来表示,比如样品段 变差: ,xi,j=1j-i+1a=ijxa 表示样品段内样本间的差异情况,越小表示段内各样品之间差.原创 2021-07-05 17:48:29 · 7345 阅读 · 7 评论 -
二分图匹配及匈牙利算法的全面讲解及python实现
1、背景在生活中常常遇到两组元素多对多匹配而又数目有限的情况,我们需要对其进行最大匹配数的分配,使效率最大化。例如,有一组压缩气缸和一组压缩活塞,每一个型号的压缩气缸有一个固定的内径大小,每一个型号的压缩活塞可以匹配内径在一定范围内的气缸,使用匈牙利算法得到活塞和气缸对大匹配数的方案。2、二分图定义二分图又称作二部图,是图论中的一种特殊模型。 设G=(V,E)是一个无向图,如果顶点V可...原创 2020-01-16 09:38:42 · 3771 阅读 · 0 评论