身影王座
人生在世,谦字当头;学海无涯,愿得一慧眼,以小观世界。
展开
-
标准CSO
CSO(competitive swarm optimizer)算法是在PSO(particle swarm optimization)算法的基础上改进而来的。PSO算法是一种功能强大、应用广泛的群体智能算法,主要用来解决优化问题。PSO算法包含一个粒子群,粒子群里面的每个粒子均有1个nnn维位置变量和1个nnn维速度变量。在算法的每次迭代过程中,每个粒子的位置变量XiX_{i}Xi和速度变量ViV_{i}ViVit1ωVitc1R1tpbe。原创 2023-05-12 21:18:42 · 962 阅读 · 2 评论 -
矩阵求逆_高斯消元法
由Algorithm1看出,利用高斯消元法求矩阵的逆的时间复杂度是。首先必须要判断矩阵是不是一个方阵,其方法是对于一个矩阵。越大的情况下,该方法消耗的计算成本远远小于伴随矩阵法。,先构造一个增广矩阵。原创 2023-04-14 16:09:23 · 1646 阅读 · 0 评论 -
矩阵求逆_伴随矩阵法
首先展示一个nDa11a21an1a12a22an2a1na2nanna11A11a12A12⋯a1nA1n其中,aiji12nj12n称为行列式的第i行, 第j列元素;A1j−11jM1jj12nM1j为D中划掉第一行和第j列的所有元素后, 按原顺序排成的n−1。原创 2023-03-30 11:08:15 · 1796 阅读 · 0 评论 -
高斯分布
高斯分布又叫正态分布,是统计学中最重要的连续概率分布。研究表明,在物理科学和经济学中,大量数据的分布通常是服从高斯分布,。高斯分布分为一维高斯分布和多维高斯分布。假设一维随机变量X服从高斯分布如下:它的概率密度函数见公式为:。分布的均值决定了图形中心的位置,标准差决定了图像的高度和宽度。标准差大时,曲线呈现出“矮胖”,标准差小时,曲线呈现出“高瘦”。因此通过改变均值和标准差,根据其概率密度函数得到不同的高斯分布,见下图。时,就得到了标准高斯分布。原创 2023-02-07 16:39:53 · 7398 阅读 · 0 评论 -
极大似然估计
极大似然估计是参数估计中点估计的一种,点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。根据前面关于离散型随机变量似然函数的定义,我们知道,基于给定的观测数据(观测到两次正面朝上),我们认为参数。一般来说,我们假定模型结构是已知的,参数是未知的,数据是已知的。的求导,是一个很复杂的问题,于是有一个直观的想法,就是把它转成对数函数,累乘就变成了累加。它实际上表达的含义是,在观测到两次正面朝上的情况下,我们推测硬币正面朝上的概率。的,所以是满足对 数函数的定义域的。当然,对于一个均匀的硬币来说,原创 2023-02-04 09:57:32 · 691 阅读 · 0 评论 -
协方差与相关系数
计算协方差的时候我们并没有把不同变量幅值差异性考虑进来,在比较协方差的时候也就没有一个统一的量纲标准。因为标准差本身反映了变量的幅值变化程度,除以标准差正好能起到抵消的作用,让协方差标准化。为了消除这一影响,为了准确得到变量之间的相似程度,把协方差除 以各自变量的标准差。相关系数大于零,则表示两个变量正相关,且相关系数越大,正相关。相关系数小于零,则表示两个变量负相关,且相关系数越小,负相关。,所以只能通过协方差的正负,来判断是正相关还是负相关,协方差是度量两个随机变量(变化趋势)的相似程度,公式。原创 2022-12-28 11:06:23 · 1273 阅读 · 0 评论 -
DG2: A Faster and More Accurate Differential Grouping for Large-Scale Black-Box Optimization
本文在DG分解的基础上,提出了DG2分解。DG2从数学上证明了新的采样技术实现了关于函数估值次数的下界;DG2检查所有可能的变量对以进行交互,并有能力识别目标函数的重叠组件;DG2通过估计舍入误差的大小来寻找一个可靠的阈值,可以自动计算其阈值参数。原创 2022-12-23 19:49:49 · 374 阅读 · 1 评论 -
CBCC3 – A CBCC Algorithm with Improved Exploration/Exploitation Balance
本文是在CBCC1和CBCC2的基础上提出了CBCC3。在本文中,证明了过度探索和过度开发是现有CBCC变体中性能损失的两个主要来源。在此基础上,提出了一种新的基于贡献的算法,可以在探索和开发之间保持更好的平衡。原创 2022-12-16 21:37:00 · 735 阅读 · 0 评论 -
A Sensitivity Analysis of Contribution-Based Cooperative Co-evolutionary Algorithms
本文在CBCC的基础上,通过分析现有的CBCC技术在更现实的情况下的性能,我们的深入分析表明,即使在这些情况下,CBCC算法也是传统CC技术的优越的替代品。原创 2022-12-14 14:57:04 · 201 阅读 · 0 评论 -
Cooperative Co-evolution with Differential Grouping for Large Scale Optimization
本文在CCVIL分解的基础上,提出了一种称为微分分组(DG)的自动分解策略,它可以揭示决策变量的潜在交互结构,使它们之间的相互依赖保持在最小。最后将DG分组策略应用于DECC与CBCC的框架中。原创 2022-12-10 14:07:48 · 813 阅读 · 1 评论 -
Impact of Problem Decomposition on Cooperative Coevolution
本文在CCVIL的基础上,讨论了问题的分解效果对于CC框架的影响。由于VIL本身是一项计算成本昂贵的任务,因此应该避免在VIL上花费过多的时间而对CCEA没有显著的好处。我们进行实证研究来解决三个密切相关的问题: 1)更好的问题分解会导致更好的CCEAs性能?2)何时改进问题分解会有利于CCEAs?3)改进问题分解会在多大程度上提高CCEAs的性能。原创 2022-12-06 20:33:19 · 223 阅读 · 0 评论 -
Large-Scale Global Optimization Using Cooperative Coevolution with Variable Interaction Learning
本文在CC框架的基础上,提出了一个新的CC框架CCVIL,放弃了均匀的随机变量分组策略。该框架最初将所有变量视为独立的,并将每个变量放入一个单独的组中。迭代地,它发现它们之间的关系,并相应地合并这些组。原创 2022-12-05 17:06:18 · 347 阅读 · 0 评论 -
Smart Use of Computational Resources Based on Contribution for Cooperative Coevolutionary Algorithms
本文再DECC的基础上,提出了一种新的优化框架CBCC。在处理不可分离问题时,各种子成分对个体整体适应度的贡献之间通常存在不平衡。使用循环方式平等地对待所有的子组件,浪费计算预算。本文提出了一个基于贡献的合作协同进化(CBCC),它基于它们对全局适应度的贡献来选择子组件。这减轻了不平衡的问题,并允许更有效地利用计算资源。原创 2022-11-30 21:25:13 · 464 阅读 · 1 评论 -
Cooperative Co-evolution with Delta Grouping for Large Scale Non-separable Function Optimization
本文在 MCLL 的基础上,提出了 DECC_DML。在 DECC_DML 中,Delta 分组技术代替随机分组,Delta 方法测量整个种群迭代前后某个变量的平均差异,并使用它来识别相互作用的变量。最后 DECC_DML 简化了自适应分组大小的策略以及放弃自适应加权的优化过程。原创 2022-11-28 11:22:57 · 270 阅读 · 1 评论 -
Cooperative Co-evolution for Large Scale Optimization Through More frequent Random Grouping
本文是在MLCC的基础上改进而来的,提出了DECC_ML。本文证明了使用随机分组在一个子组件中分组交互变量的概率随着交互变量数量(每个子空间包含的变量维度)的增加而显著下降。这就要求更频繁地进行变量的随机分组。本文展示了如何增加随机分组的频率,而不增加适应度评估的数量。本文还表明,自适应加权是无效的,通过对目标函数的额外评估浪费了大量的CPU时间。最后,本文提出了一种新的动态调整分组大小的自适应技术。原创 2022-11-26 13:44:08 · 260 阅读 · 0 评论 -
An Adaptive Coevolutionary Differential Evolution Algorithm for Large-scale Optimization
本文在JADE和DECC_G的基础上,提出了JACC_G算法。在新的JACC-G算法中:采用带有lpbest的JADE作为子组件优化器;自适应加权仅在部分周期工作,添加检测模块以防止任意应用;在自适应加权过程中使用JADE优化权重向量。原创 2022-11-21 16:33:15 · 269 阅读 · 1 评论 -
JADE: Adaptive Differential Evolution withOptional External Archive
本文在DE的基础上,提出了一种新的差分进化(DE)算法JADE,通过实现一种新的突变策略p,采用可选的和,来提高优化性能。上述两种操作使种群多样化,并提高了收敛性能。原创 2022-11-20 11:20:22 · 2286 阅读 · 9 评论 -
Multilevel Cooperative Coevolution for Large Scale Optimization
本文在CCEA_G的基础上,提出了MLCC框架。在MLCC中,构造了一组问题分解器。演化过程分为若干个循环,。由于不同的组大小捕获了原始目标变量之间的不同交互水平,MLCC能够在不同水平之间自我适应。原创 2022-11-15 17:27:14 · 568 阅读 · 0 评论 -
Large scale evolutionary optimization using cooperative coevolution
可以推出:那么该函数就是可分离函数,否则则不是。下面展示了在EACC-G中同时优化两个相互作用的变量的概率的一个简单例子。首先,原创 2022-11-13 22:08:09 · 695 阅读 · 4 评论 -
Self-adaptive Differential Evolution with Neighborhood Search
本文是在SaDE和NSDE的基础上,结合二者的特点,提出了SaNSDE算法。原创 2022-11-10 11:15:50 · 1054 阅读 · 0 评论 -
Self-adaptive Differential Evolution Algorithm for Numerical Optimization
本文在DE算法的基础上,提出了一种自适应的差分进化算法(SaDE)。其中和两个控制参数。原创 2022-11-08 16:07:59 · 1494 阅读 · 1 评论 -
Making a Difference to Differential Evolution
差分进化(Differential Evolution)和进化规划(Evolutionary Programming)是进化计算中的两种主要算法。它们已成功地应用于许多真实世界的数值优化问题。社区搜索(Neighborhood Search)是支撑EP的主要策略,目前已经对不同的NS操作符(高斯随机数和柯西随机数)的特征进行了分析。虽然DE可能与EP的进化过程相似,但它缺乏邻域搜索的相关概念。本章提出了基于邻域搜索的NSDE。原创 2022-11-06 11:15:27 · 713 阅读 · 0 评论 -
Cauchy distribution
柯西分布,也称为柯西-洛伦兹分布或洛伦兹分布,是描述共振行为的连续分布。原创 2022-11-04 10:45:42 · 12821 阅读 · 2 评论 -
DE–A Simple and Efficient Heuristic for Global Optimization over Continuous Spaces
本文主要提出了差分进化,然后与其他全局优化算法进行比较,然后得出差分进化效果更好的结论。本文不做其他算法进行解读,主要解读的是差分进化。原创 2022-11-02 10:08:34 · 888 阅读 · 2 评论 -
A modified competitive swarm optimizer for large scale optimization problems
本文是根据CSO提出来的一种改进版的CSO算法,即MCSO。与CSO不同,MCSO使用三竞争机制,。主要的想法是。作为一篇2区的文章,在算法创新上算不上很大,实际与原有的CSO改动十分小,但是由于它实验结果比较完善,并将该算法应用到“基于采样的图像匹配问题 ”上,增加了文章的内容的丰富程度,在这一点上还是不错的。原创 2022-10-25 10:47:23 · 474 阅读 · 0 评论 -
A Dynamic Competitive Swarm Optimizer Based-on Entropy for Large Scale Optimization
本文在CSO基础上,本文提出了一种新的动态竞争群优化器(DCSO)算法。它利用将种群动态地划分为两个子群。。在执行过程的阶段,由于种群熵较高,适应度较好的子群规模较小。这样,新的算法就类似于了。然后,在执行过程的,由于种群熵较低,适应度较好的子群规模较大。该算法转化为总。原创 2022-10-20 17:10:44 · 418 阅读 · 0 评论 -
Cross-validation and KNN
本文主要是通过KNN作为分类器,利用Cross-validation作为评估准确率的一种方式,取其平均值作为准确率。在这里KNN采用K=5的情况,Cross-validation采用10-fold-cross-validation。,原创 2022-10-10 11:05:41 · 367 阅读 · 0 评论 -
Feature selection for high-dimensional classification usinga competitive swarm optimizer
在本文中,首先,使用竞争群优化器(),以解决高维问题;此外,引入了一种来降低计算成本;利用进行分类性能的计算。在6个基准数据集上的实验表明,与其他对比算法相比较,所提出的基于cso的特征选择算法不仅选择了更少的特征,而且具有更好的分类性能。原创 2022-10-07 17:51:41 · 343 阅读 · 0 评论 -
Cross-validation
交叉验证是一种,以评估预测模型的泛化能力和防止过拟合。与bootstrap一样,交叉验证也属于蒙特卡罗方法的家族。本文介绍了交叉验证及其相关的重采样方法。原创 2022-10-05 19:46:21 · 1022 阅读 · 0 评论 -
Cooperatively Coevolving Particle Swarms forLarge Scale Optimization
该篇论文还是基于CPSO_Sk算法改正而来的,但是采用了CCSPO中随机分组技术,但是去掉了gbest前的权重搜索策略(效果虽然杠杠的,但是本身值得商榷),CCPSO2采用了一种新的PSO位置更新规则,依靠柯西分布和高斯分布对搜索空间中的新点进行采样,并提出了一种动态确定子空间维度大小的方案。...原创 2022-07-18 17:31:08 · 553 阅读 · 1 评论 -
A New Optimizer Using Particle Swarm Theory
该篇论文是PSO的改进版,利用局部最优变量lbest取代了之前的全局最优变量gbest。实际效果虽然没有大规模改进,但是也是一种新的想法。原创 2022-07-15 17:22:00 · 534 阅读 · 0 评论 -
Tackling High Dimensional Nonseparable Optimization Problems By CCPSO
CCPSO是在CPSO的基础上提出来的,在CPSO_Sk的基础上提出了两个新的思路:基于随机分解的分组;通过进化算法来自适应权重来优化pbest(gbest),达到更好的全局搜索的目的。原创 2022-07-08 11:14:24 · 409 阅读 · 0 评论 -
A Cooperative Approach to Particle Swarm Optimization
CPSO是基于标准PSO变形而来的,本文提出了一种对传统的PSO算法的变体,称为协作粒子群优化器,或CPSO。利用协作行为来显著提高原始算法的性能,这是通过使用多个群来协同优化解向量的不同分量来实现的。有关PSO算法以及具体实现,参见本人之前写的博客:标准PSO。速度更新公式:位置更新公式:pbest更新公式:gbest更新公式: CPSO算法将较大的搜索空间分解为几个较小的空间,因此每个子群收敛到其子空间中包含的解的速度明显快于标准PSO在原始n维搜索空间上的收敛速度。如果每个子空间维度设置为1维,那原创 2022-07-05 11:32:40 · 712 阅读 · 5 评论 -
熵、联合熵、条件熵
离散型随机变量的熵:熵是一个随机变量不确定性的度量,一个随机变量的熵越大,意味着不确定性越大,换言之,该随机变量包含的信息量越大。必然事件是确定无疑的,并不含有不确定性,所以必然事件的熵应该是0,也就是说,必然事件不含有信息量。离散型的二维随机变量(X,Y)的联合熵为:如果想要考虑两个随机变量组合一起的不确定性,得用到联合熵。并且:因此我们可以得到:。条件熵H(Y|X)表示在已知事件X的条件下,事件Y的不确定性,即X发生的前提下,Y发生的熵。随机变量X = [0.1;0.7;0.5;0.1],随机变量Y =原创 2022-06-14 11:21:06 · 3466 阅读 · 1 评论 -
Adaptive bare-bones particle swarm optimization algorithm and its convergence analysis
本文提出了ABPSO,通过在BPSO基础上,给高斯分布的方差项添加一个扰动项,每个粒子都有自己的扰动值,该扰动值是根据其收敛程度和种群的多样性自适应决定的。并引入了一种自适应突变算子来改进ABPSO的全局探索。此外,利用随机过程理论,将每个粒子的位置视为一个随机向量,分析了ABPSO的收敛性。但是本文不对随机过程理论进行探讨,且不分析其收敛性,因为不是本文的重点。关于BPSO,参见博客:BPSO。BBPSO的更新公式为:如果一个粒子的Pbest在演化过程中碰巧接近或等于Gbest,显然,这个粒子会立即停止更原创 2022-06-13 13:30:37 · 344 阅读 · 0 评论 -
Feature selection algorithm based on bare bones particleswarm optimization
本论文主要是通过改进的BPSO算法来进行特征选择,特征选择的效果通过1-NN分类算法来检验。通过比较得出提出的算法在特征选择上具有一定的优越性。是一篇二区的论文,个人觉得针对特征选择的实际问题而提出的改进的BPSO算法实际上创新性不是太大,但是可以让我们就相关问题有一个清晰的认识。本文提出了一种利用BPSO求解最优特征子集的新方法,称为 binary BPSO。该算法(binary BPSO)设计了(a reinforced memory strategy)一种增强记忆策略来更新粒子的局部最优值,以避免粒子原创 2022-06-09 11:35:43 · 379 阅读 · 0 评论 -
A DISCRETE BINARY VERSION OF THE PARTICLE SWARM ALGORITHM
标准粒子群算法在前面提到过和复现过,这里不在介绍,标准粒子群算法。本文是在改粒子群算法的基础上提出了一种基于二进制离散变量的粒子群优化算法,每个变量只有0或者1作为参数的搜索域。也是出自有名的会议,只不过年代较为久远,但不影响其思维的独到之处。粒子群算法的速度更新部分:这里i代表第i个样本,d代表第d维变量,每一位变量的取值范围只有0、1。这个公式与之前标准粒子群公式一摸一样,只不过变化的是变量的取值范围是二进制离散的。粒子群算法的位置更新部分:就是一个sigmod函数,主要作用就是将转换到0~1,如果取值原创 2022-06-06 11:12:39 · 358 阅读 · 0 评论 -
A Fuzzy K-Nearest Neighbor Algorithm
0. 论文的基本介绍Keller J M, Gray M R, Givens J A. A fuzzy k-nearest neighbor algorithm[J]. IEEE transactions on systems, man, and cybernetics, 1985 (4): 580-585.而且现在这个期刊是一个TOP刊。1. 摘要许多算法利用样本之间的距离或相似性作为一种分类手段。在这些模式识别问题中,经常使KNN。但是在KNN中每个样本属于不同类别只有0原创 2022-05-29 17:29:20 · 860 阅读 · 1 评论 -
Bare Bones Particle Swarms
1. BBPS算法背景BBPS算法是在标准的粒子群算法上变化而来的,通过消除速度公式对粒子群算法进行了修改,但是粒子群优化的基本原理被保留了下来:这些粒子的更新仍然受到其个体最优位置的记忆和全局最优位置的通信的影响。标准的粒子群算法介绍:A Modified Particle Swarm OptimizerJ. Kennedy, "Bare bones particle swarms," Proceedings of the 2003 IEEE Swarm Intelligence Sympo原创 2022-05-23 11:54:31 · 676 阅读 · 0 评论 -
A Modified Particle Swarm Optimizer
1. 改进的PSO算法如果要了解这篇期刊,得首先了解Particle swarm optimization(粒子群优化算法),参见博客:Particle Swarm Optimization。而本篇论文就是基于上述论文改进而来的。Shi Y, Eberhart R. A modified particle swarm optimizer[C]//1998 IEEE international conference on evolutionary computation proceedings. I原创 2022-05-20 17:15:50 · 721 阅读 · 0 评论