【智能优化算法】粒子群优化算法（PSO）【附python实现代码】

最新推荐文章于 2024-09-20 09:38:01 发布
最新推荐文章于 2024-09-20 09:38:01 发布
阅读量8.2k 收藏 122
点赞数 25
分类专栏： 智能优化算法和模型参数优化 文章标签： 算法 python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AugustMe/article/details/139191645
版权

写在前面：
首先感谢兄弟们的订阅，让我有创作的动力，在创作过程我会尽最大能力，保证作品的质量，如果有问题，可以私信我，让我们携手共进，共创辉煌。

路虽远，行则将至；事虽难，做则必成。只要有愚公移山的志气、滴水穿石的毅力，脚踏实地，埋头苦干，积跬步以至千里，就一定能够把宏伟目标变为美好现实。

历史文章回顾：
灰狼优化算法：【智能优化算法】灰狼优化算法【附python实现代码】
白鲸优化算法：【智能优化算法】白鲸优化算法【附python实现代码】
【智能优化算法】粒子群优化KNN分类算法【附python实现代码】
【智能优化算法】粒子群优化随机森林分类算法【附python实现代码】
【智能优化算法】粒子群优化LightGBM分类算法【附python实现代码】
【模型参数优化】随机搜索对随机森林分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对随机森林分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对KNN分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对XGBoost分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对GBDT分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对SVM分类模型进行参数寻优【附python实现代码】
【模型参数优化】随机搜索对SVM分类模型进行参数寻优【附python实现代码】

1、介绍

1.1、PSO算法起源

1995年，受到鸟群觅食行为的规律性启发，James Kennedy和Russell Eberhart建立了一个简化算法模型，经过多年改进最终形成了粒子群优化算法(Particle Swarm Optimization, PSO) ，也可称为粒子群算法。

1.2、PSO算法特点

粒子群算法具有收敛速度快、参数少、算法简单易实现的优点（对高维度优化问题，比遗传算法更快收敛于最优解），但是也存在陷入局部最优解的问题，因此依赖于良好的初始化。

1.3、PSO算法基本思想

粒子群算法的思想源于对鸟群觅食行为的研究，鸟群通过集体的信息共享使群体找到最优的目的地。如下图，设想这样一个场景：鸟群在森林中随机搜索食物，它们想要找到食物量最多的位置。但是所有的鸟都不知道食物具体在哪个位置，只能感受到食物大概在哪个方向。每只鸟沿着自己判定的方向进行搜索，并在搜索的过程中记录自己曾经找到过食物且量最多的位置，同时所有的鸟都共享自己每一次发现食物的位置以及食物的量，这样鸟群就知道当前在哪个位置食物的量最多。在搜索的过程中每只鸟都会根据自己记忆中食物量最多的位置和当前鸟群记录的食物量最多的位置调整自己接下来搜索的方向。鸟群经过一段时间的搜索后就可以找到森林中哪个位置的食物量最多（全局最优解）。

在这里插入图片描述

2、算法基本原理

2.1 对应关系

将鸟群觅食行为和算法原理对应，如下表所示：

鸟群觅食粒子群算法
鸟粒子
森林求解空间
食物的量目标函数值（适应值）
每只鸟所处的位置空间中的一个解（粒子位置）
食物量最多的位置全局最优解

2.2 基础知识

  • PSO的基础：信息的社会共享
  • 粒子的两个属性：速度和位置（算法的两个核心要素）
    速度表示粒子下一步迭代时移动的方向和距离，位置是所求解问题的一个解。
  • 算法的6个重要参数
    在这里插入图片描述
  • 粒子群算法的流程图
    在这里插入图片描述
  • 粒子群算法的伪代码
    在这里插入图片描述

3、速度更新公式

表述上叫速度，实际上就是粒子下一步迭代移动的距离和方向，也就是一个位置向量。
在这里插入图片描述

3.1、速度更新公式的解释

  • 第1项：惯性部分
    由惯性权重和粒子自身速度构成，表示粒子对先前自身运动状态的信任。
  • 第2项：认知部分
    表示粒子本身的思考，即粒子自己经验的部分，可理解为粒子当前位置与自身历史最优位置之间的距离和方向。
  • 第3项：社会部分
    表示粒子之间的信息共享与合作，即来源于群体中其他优秀粒子的经验，可理解为粒子当前位置与群体历史最优位置之间的距离和方向。

3.2、速度更新公式的参数定义

在这里插入图片描述

3.3、速度方向

粒子下一步迭代的移动方向 = 惯性方向 + 个体最优方向 + 群体最优方向
在这里插入图片描述

4、位置更新公式

上一步的位置 + 下一步的速度
在这里插入图片描述

5、PSO算法参数的详细解释

5.1、粒子群规模：N

一个正整数，推荐取值范围：[20,1000]，简单问题一般取20-40，较难或特定类别的问题可以取100-200。较小的种群规模容易陷入局部最优；较大的种群规模可以提高收敛性，更快找到全局最优解，但是相应地每次迭代的计算量也会增大；当种群规模增大至一定水平时，再增大将不再有显著的作用。

5.2、粒子维度：D

粒子搜索的空间维数即为自变量的个数。

5.3、迭代次数：K

推荐取值范围：[50,100]，典型取值：60、70、100；这需要在优化的过程中根据实际情况进行调整，迭代次数太小的话解不稳定，太大的话非常耗时，没有必要。

5.4、惯性权重：w

1998年，Yuhui Shi和Russell Eberhart对基本粒子群算法引入了惯性权重(inertia weight)，并提出动态调整惯性权重以平衡收敛的全局性和收敛速度，该算法被称为标准PSO算法（本文所介绍）【Shi Y . A Modified Particle Swarm Optimizer[C]// Proc of IEEE Icec Conference. 1998.】。

  • 参数意义
    惯性权重w表示上一代粒子的速度对当代粒子的速度的影响，或者说粒子对当前自身运动状态的信任程度，粒子依据自身的速度进行惯性运动。惯性权重使粒子保持运动的惯性和搜索扩展空间的趋势。w值越大，探索新区域的能力越强，全局寻优能力越强，但是局部寻优能力越弱。反之，全局寻优能力越弱，局部寻优能力强。较大的w有利于全局搜索，跳出局部极值，不至于陷入局部最优；而较小的w有利于局部搜索，让算法快速收敛到最优解。当问题空间较大时，为了在搜索速度和搜索精度之间达到平衡，通常做法是使算法在前期有较高的全局搜索能力以得到合适的种子，而在后期有较高的局部搜索能力以提高收敛精度，所以w不宜为一个固定的常数。当w=0时，退化成基本粒子群算法，当w=1时，失去对粒子本身经验的思考。推荐取值范围：[0.4,2]，典型取值：0.9、1.2、1.5、1.8。
  • 改善惯性权重
    在解决实际优化问题时，往往希望先采用全局搜索，使搜索空间快速收敛于某一区域，然后采用局部精细搜索以获得高精度的解。因此提出了自适应调整的策略，即随着迭代的进行，线性地减小w的值。这里提供一个简单常用的方法——线性变化策略：随着迭代次数的增加，惯性权重w不断减小，从而使得粒子群算法在初期具有较强的全局收敛能力，在后期具有较强的局部收敛能力。
    在这里插入图片描述

5.5、学习因子：c1、c2

也称为加速系数或加速因子（这两个称呼更加形象地表达了这两个系数的作用）
在这里插入图片描述

6、PSO算法的其他重要概念和技巧

6.1、适应值（fitness values）

即优化目标函数的值，用来评价粒子位置的好坏程度，决定是否更新粒子个体的历史最优位置和群体的历史最优位置，保证粒子朝着最优解的方向搜索。

6.2、位置限制

限制粒子搜索的空间，即自变量的取值范围，对于无约束问题此处可以省略。

6.3、速度限制

为了平衡算法的探索能力与开发能力，需要设定一个合理的速度范围，限制粒子的最大速度 ，即粒子下一步迭代可以移动的最大距离。
Vmax较大时，粒子飞行速度快，探索能力强，但粒子容易飞过最优解；
Vmax较小时，飞行速度慢，开发能力强，但是收敛速度慢，且容易陷入局部最优解；
Vmax一般设为粒子变化范围的10％~20％，可根据实际情况调试，但不能大于粒子(解)的变化范围。

6.4、优化停止准则

停止准则一般有两种：

  • 最大迭代步数：达到最大迭代次数停止
  • 可接受的满意解：上一次迭代后最优解的适应值与本次迭代后最优解的适应值之差小于某个值后停止优化

6.5、初始化

粒子群算法优化的结果受很多因素的影响，其中受粒子初始值的影响比较大，而且较难调控。如果粒子初始值是随机初始化的，在不改变任何参数的情况下，多次优化的结果不一定都收敛到一个全局或局部最优解，也可能会得到一个无效解。所以粒子初始化是一个十分重要的步骤，它关系到整个优化过程中优化收敛的速度与方向。如果粒子的初始化范围选择得好的话可以大大缩短优化的收敛时间，也不易陷入局部最优解。需要根据具体的问题进行分析，如果根据经验判断出最优解一定在某个范围内，则就在这个范围内初始化粒子。如果无法确定，则以粒子的取值边界作为初始化范围。

7、Python代码实现

使用scikit-opt库实现PSO

先安装

pip install scikit-opt

# -*- coding: utf-8 -*-
"""
Created on Sat May 25 09:37:28 2024

@author: 63454
"""


def demo_func(x):
    x1, x2, x3 = x
    return x1 ** 2 + (x2 - 0.05) ** 2 + x3 ** 2


# %% Do PSO
from sko.PSO import PSO

pso = PSO(func=demo_func, n_dim=3, pop=40, max_iter=100, lb=[0, -1, 0.5], ub=[1, 1, 1], w=0.8, c1=0.5, c2=0.5)
pso.run()
print('best_x is ', pso.gbest_x, 'best_y is', pso.gbest_y)

# %% Plot the result
import matplotlib.pyplot as plt
plt.xlabel("iterators", size=11)
plt.ylabel("fitness", size=11)
plt.plot(pso.gbest_y_hist)
# plt.plot(pso.gbest_y_hist, color='b', linewidth=2)
plt.show()

在这里插入图片描述

参考资料

https://github.com/TimePickerWang/MachineLearning/blob/master/MachineLearning/OptAlgorithm/PSO.py
https://blog.csdn.net/xyisv/article/details/79058574
https://zhuanlan.zhihu.com/p/346355572?utm_id=0&eqid=b544778f00000f69000000066527b08b
https://github.com/guofei9987/scikit-opt/blob/master/examples/demo_pso.py
https://scikit-opt.github.io/scikit-opt/#/zh/more_sa
https://www.omegaxyz.com/2017/05/04/introductionofpso/
https://zhuanlan.zhihu.com/p/63956652

机器不学习我学习
关注
专栏目录
粒子群优化算法的python实现(带例子、详细注释版、迭代结果可视化)
02-19
1.资源内容：粒子群算法的python实现代码 2.粒子群优化算法是一种演化计算技术，来源于对一个简化社会模型的模拟，可用于优化问题 3.可在建模过程中使用 4.适合算法初学者和有相关需求者使用或改进 5.针对不同的目标函数，更改fitness函数即可
粒子群优化算法的python实现
12-21
粒子群优化算法的python实现
粒子群优化算法（PSO）经典实现与分析
最新发布
weixin_35973118的博客
09-20 575
本文还有配套的精品资源，点击获取 简介：粒子群优化算法（PSO）是一种基于群体智能的全局优化技术，通过模拟鸟群行为来寻找问题的最优解。本文提供一个PSO算法的经典代码实现案例，详细解析其核心概念、工作原理以及代码结构。读者通过学习PSO算法的理论基础和实践代码，可以快速掌握该算法，并将其应用于多种优化问题。 1. 粒子群优化算法（PSO）概念 粒子群优化算法...
粒子群算法（PSO）的python的入门级实现
08-25
本代码实现了粒子群算法（PSO）的python 实现（入门级），可以实现简单的优化功能， 需根据实际问题改变优化目标，以及部分代码
粒子群优化算法PSO代码复现
12-13
粒子群优化算法（Particle Swarm Optimization，PSO）是进化计算的一个分支，是一种模拟自然界的生物活动的随机搜索算法。 PSO模拟了自然界鸟群捕食和鱼群捕食的过程。通过群体中的协作寻找到问题的全局最优解。它是1995年由美国学者Eberhart和Kennedy提出的，现在已经广泛应用于各种工程领域的优化问题之中。 ———————————————— 介绍链接：https://blog.csdn.net/qq_44186838/article/details/109212631
优化算法：2.粒子群算法(PSO)及Python实现
qq_53529450的博客
07-28 1611
粒子群算法（PSO）是一种模拟鸟群觅食行为的优化算法，通过个体和群体的协同搜索来寻找最优解。该算法初始化一群随机分布的粒子，每个粒子有位置和速度，并通过迭代更新它们的速度和位置，以个体最佳位置和全局最佳位置为参考逐步逼近目标。本文详细阐述了PSO算法的定义和执行过程，并提供了Python实现代码。
粒子群优化算法和python代码_粒子群优化算法-python实现
weixin_39973410的博客
12-03 149
1 importnumpy as np2 from PSOIndividual importPSOIndividual3 importrandom4 importcopy5 importmatplotlib.pyplot as plt678 classParticleSwarmOptimization:910 ‘‘‘11 the class for Particle Swarm Optim...
粒子群算法python（含例程代码与详解)
热门推荐
freeline的博客
10-07 3万+
1.粒子群算法简介 粒子群算法的思想源于对鸟类捕食行为的研究，模拟鸟集群飞行觅食的行为，鸟之间通过集体的协作使群体达到最优目的。 设想这样的一个场景，一群鸟在随机的搜索食物，在某块区域里有一块食物， 2.算法流程图 ...
优化算法|粒子群优化算法及python代码实现
eternal1995的博客
02-05 2558
粒子群算法(Particle Swarm Optimization, PSO)的思想源于对鸟群觅食行为的研究，其核心思想是通过群体中个体之间的协作和信息共享来寻找最优解。相较于遗传算法，粒子群算法具有收敛速度快、参数少、算法简单易实现的优点（对高维度优化问题，比遗传算法更快收敛于最优解），但是同样存在陷入局部最优解的问题。'''position -> 粒子位置velocity -> 粒子速度best_p -> 全局最优解obj_function -> 目标函数constraints -> 约束。
粒子群优化算法python实现
RoseOfPalm的博客
04-12 1万+
粒子群优化算法(Particle Swarm Optimization, PSO)作为进化计算的一个分支，是由Eberhart和Kennedy于1995年提出的一种全局搜索算法，同时它也是一种模拟自然界的生物活动以及群体智能的随即搜索算法。
粒子群算法python实现
nutmeatu566的博客
07-20 307
粒子群算法python实现，代码注释详细，用了两个测试函数测试性能，可直接调用，替换成自己的问题函数。
粒子群算法 Python源程序
04-13
粒子群算法，也称粒子群优化算法或鸟群觅食算法（Particle Swarm Optimization），缩写为 PSO， 是近年来由J. Kennedy和R. C. Eberhart等 [1] 开发的一种新的进化算法(Evolutionary Algorithm - EA)。PSO 算法属于进化算法的一种，和模拟退火算法相似，它也是从随机解出发，通过迭代寻找最优解，它也是通过适应度来评价解的品质，但它比遗传算法规则更为简单，它没有遗传算法的“交叉”(Crossover) 和“变异”(Mutation) 操作，它通过追随当前搜索到的最优值来寻找全局最优。这种算法以其实现容易、精度高、收敛快等优点引起了学术界的重视，并且在解决实际问题中展示了其优越性。粒子群算法是一种并行算法。
粒子群算法python实现(PSO).7z
08-04
基于Python实现的粒子群算法，上传上来方便大家交流学习，算法实现了最基础的粒子群算法，并附带简单的注释，大家可以根据自己的需要进行修改。粒子群算法是群智能一种，是基于对鸟群觅食行为的研究和模拟而来的。假设在鸟群觅食范围，只在一个地方有食物，所有鸟儿看不到食物（不知道食物的具体位置），但是能闻到食物的味道（能知道食物距离自己位置）。最好的策略就是结合自己的经验在距离鸟群中距离食物最近的区域搜索。
【智能优化算法】粒子群优化算法PSO附Python代码.zip
09-08
粒子群优化算法（Particle Swarm Optimization, 简称PSO）是一种基于群体智能的全局优化算法，由Eberhart和Kennedy在1995年提出。它模拟了鸟群寻找食物的过程，通过群体中每个粒子（即搜索者）的个体经验和群体经验...
基于python的粒子群算法PSO优化支持向量机SVM设计与实现
04-29
在压缩包中的"基于python的粒子群算法PSO优化支持向量机SVM设计与实现"文件中，很可能是详细介绍了如何结合Python编程语言和PSO算法来优化SVM模型的实现步骤，包括代码示例和可能的结果分析。读者可以通过阅读这份...
PSO_python_PSO优化_python实现粒子群算法_粒子群_
10-02
粒子群优化（Particle Swarm Optimization, 简称PSO）是一种基于群体智能的全局优化算法，由James Kennedy和Russell Eberhart在1995年提出。它模仿鸟群寻找食物的行为，通过群体中每个粒子（即搜索者）的个体经验和...
智能优化算法之粒子群算法（PSO）的实现（Python附源码）
weixin_42051846的博客
01-13 6433
使用Python编程语言实现粒子群算法用于优化问题的求解，分别从实现思路、算法步骤以及实例这三个部分展开介绍，附源码，操作简单，适合新手学习。
粒子群算法（PSO)优化变分模态分解(VMD)参数python
05-06
粒子群优化算法（Particle Swarm Optimization, PSO）是一种在复杂多目标优化问题中广泛应用的全局搜索算法，由Kennedy和Eberhart于1995年提出。它模拟了自然界中鸟群寻找食物的行为，通过粒子间的交互和个体最优...
数学建模_粒子群优化算法（PSO）_python
2302_76951580的博客
08-31 1243
PSO 是一种强大的优化算法，通过模拟群体智能来寻找最优解。它实现简单、全局搜索能力强，适合应用于各种优化问题。通过合理设置粒子数量、迭代次数等参数，PSO 可以在不同的应用场景中找到接近最优的解。
粒子群优化算法python程序_在Python中实现粒子群优化（PSO）算法
06-10
好的，下面是一个简单的粒子群优化算法的Python实现代码。请注意，这只是一个示例，可以根据特定问题进行修改。 ```python import random # 定义问题，目标函数为 x^2 def objective_function(x): return x ** 2 # 定义粒子类 class Particle: def __init__(self, dims): self.position = [random.uniform(-5.0, 5.0) for _ in range(dims)] self.velocity = [0.0 for _ in range(dims)] self.best_position = self.position self.best_score = float('inf') def update_velocity(self, global_best_position, omega, phi_p, phi_g): for i in range(len(self.velocity)): r_p = random.random() r_g = random.random() cognitive = phi_p * r_p * (self.best_position[i] - self.position[i]) social = phi_g * r_g * (global_best_position[i] - self.position[i]) self.velocity[i] = omega * self.velocity[i] + cognitive + social def update_position(self): for i in range(len(self.position)): self.position[i] += self.velocity[i] def evaluate(self): score = objective_function(self.position) if score < self.best_score: self.best_position = self.position self.best_score = score # 定义PSO算法类 class PSO: def __init__(self, dims, num_particles, max_iter): self.dims = dims self.num_particles = num_particles self.max_iter = max_iter self.particles = [Particle(dims) for _ in range(num_particles)] self.global_best_position = self.particles[0].position self.global_best_score = float('inf') def optimize(self): for i in range(self.max_iter): for particle in self.particles: particle.evaluate() if particle.best_score < self.global_best_score: self.global_best_position = particle.best_position self.global_best_score = particle.best_score for particle in self.particles: particle.update_velocity(self.global_best_position, 0.5, 0.5, 0.5) particle.update_position() # 使用示例 pso = PSO(1, 10, 100) pso.optimize() print(pso.global_best_position) ``` 这里我们定义了一个简单的目标函数 `objective_function`，它的实现是 $x^2$。然后我们定义了一个 `Particle` 类来表示粒子，其中包括位置、速度、最佳位置和最佳得分。然后我们定义了一个 `PSO` 类来表示整个算法，其中包括粒子群、最大迭代次数和全局最佳位置和最佳得分。 在 `optimize` 方法中，我们首先遍历所有粒子并评估它们的得分。如果某个粒子的最佳得分比全局最佳得分更好，则更新全局最佳位置和最佳得分。然后我们再次遍历所有粒子，并更新它们的速度和位置。 最后，我们可以使用 `PSO` 类来解决特定问题。在这个示例中，我们使用 `PSO(1, 10, 100)` 来寻找一个一维函数的最小值，其中有10个粒子，最大迭代次数为100。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机器不学习我学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值