【智能优化算法】粒子群优化算法（PSO）【附python实现代码】

于 2024-05-25 13:34:38 发布
阅读量2.1k 收藏 30
点赞数 15
分类专栏： 智能优化算法和模型参数优化 文章标签： 算法 python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AugustMe/article/details/139191645
版权

写在前面：
首先感谢兄弟们的订阅，让我有创作的动力，在创作过程我会尽最大能力，保证作品的质量，如果有问题，可以私信我，让我们携手共进，共创辉煌。

路虽远，行则将至；事虽难，做则必成。只要有愚公移山的志气、滴水穿石的毅力，脚踏实地，埋头苦干，积跬步以至千里，就一定能够把宏伟目标变为美好现实。

历史文章回顾：
灰狼优化算法：【智能优化算法】灰狼优化算法【附python实现代码】
白鲸优化算法：【智能优化算法】白鲸优化算法【附python实现代码】
【智能优化算法】粒子群优化KNN分类算法【附python实现代码】
【智能优化算法】粒子群优化随机森林分类算法【附python实现代码】
【智能优化算法】粒子群优化LightGBM分类算法【附python实现代码】
【模型参数优化】随机搜索对随机森林分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对随机森林分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对KNN分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对XGBoost分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对GBDT分类模型进行参数寻优【附python实现代码】
【模型参数优化】网格搜索对SVM分类模型进行参数寻优【附python实现代码】
【模型参数优化】随机搜索对SVM分类模型进行参数寻优【附python实现代码】

1、介绍

1.1、PSO算法起源

1995年，受到鸟群觅食行为的规律性启发，James Kennedy和Russell Eberhart建立了一个简化算法模型，经过多年改进最终形成了粒子群优化算法(Particle Swarm Optimization, PSO) ，也可称为粒子群算法。

1.2、PSO算法特点

粒子群算法具有收敛速度快、参数少、算法简单易实现的优点（对高维度优化问题，比遗传算法更快收敛于最优解），但是也存在陷入局部最优解的问题，因此依赖于良好的初始化。

1.3、PSO算法基本思想

粒子群算法的思想源于对鸟群觅食行为的研究，鸟群通过集体的信息共享使群体找到最优的目的地。如下图，设想这样一个场景：鸟群在森林中随机搜索食物，它们想要找到食物量最多的位置。但是所有的鸟都不知道食物具体在哪个位置，只能感受到食物大概在哪个方向。每只鸟沿着自己判定的方向进行搜索，并在搜索的过程中记录自己曾经找到过食物且量最多的位置，同时所有的鸟都共享自己每一次发现食物的位置以及食物的量，这样鸟群就知道当前在哪个位置食物的量最多。在搜索的过程中每只鸟都会根据自己记忆中食物量最多的位置和当前鸟群记录的食物量最多的位置调整自己接下来搜索的方向。鸟群经过一段时间的搜索后就可以找到森林中哪个位置的食物量最多（全局最优解）。

在这里插入图片描述

2、算法基本原理

2.1 对应关系

将鸟群觅食行为和算法原理对应，如下表所示：

鸟群觅食粒子群算法
鸟粒子
森林求解空间
食物的量目标函数值（适应值）
每只鸟所处的位置空间中的一个解（粒子位置）
食物量最多的位置全局最优解

2.2 基础知识

  • PSO的基础：信息的社会共享
  • 粒子的两个属性：速度和位置（算法的两个核心要素）
    速度表示粒子下一步迭代时移动的方向和距离，位置是所求解问题的一个解。
  • 算法的6个重要参数
    在这里插入图片描述
  • 粒子群算法的流程图
    在这里插入图片描述
  • 粒子群算法的伪代码
    在这里插入图片描述

3、速度更新公式

表述上叫速度，实际上就是粒子下一步迭代移动的距离和方向，也就是一个位置向量。
在这里插入图片描述

3.1、速度更新公式的解释

  • 第1项：惯性部分
    由惯性权重和粒子自身速度构成，表示粒子对先前自身运动状态的信任。
  • 第2项：认知部分
    表示粒子本身的思考，即粒子自己经验的部分，可理解为粒子当前位置与自身历史最优位置之间的距离和方向。
  • 第3项：社会部分
    表示粒子之间的信息共享与合作，即来源于群体中其他优秀粒子的经验，可理解为粒子当前位置与群体历史最优位置之间的距离和方向。

3.2、速度更新公式的参数定义

在这里插入图片描述

3.3、速度方向

粒子下一步迭代的移动方向 = 惯性方向 + 个体最优方向 + 群体最优方向
在这里插入图片描述

4、位置更新公式

上一步的位置 + 下一步的速度
在这里插入图片描述

5、PSO算法参数的详细解释

5.1、粒子群规模：N

一个正整数，推荐取值范围：[20,1000]，简单问题一般取20-40，较难或特定类别的问题可以取100-200。较小的种群规模容易陷入局部最优；较大的种群规模可以提高收敛性，更快找到全局最优解，但是相应地每次迭代的计算量也会增大；当种群规模增大至一定水平时，再增大将不再有显著的作用。

5.2、粒子维度：D

粒子搜索的空间维数即为自变量的个数。

5.3、迭代次数：K

推荐取值范围：[50,100]，典型取值：60、70、100；这需要在优化的过程中根据实际情况进行调整，迭代次数太小的话解不稳定，太大的话非常耗时，没有必要。

5.4、惯性权重：w

1998年，Yuhui Shi和Russell Eberhart对基本粒子群算法引入了惯性权重(inertia weight)，并提出动态调整惯性权重以平衡收敛的全局性和收敛速度，该算法被称为标准PSO算法（本文所介绍）【Shi Y . A Modified Particle Swarm Optimizer[C]// Proc of IEEE Icec Conference. 1998.】。

  • 参数意义
    惯性权重w表示上一代粒子的速度对当代粒子的速度的影响，或者说粒子对当前自身运动状态的信任程度，粒子依据自身的速度进行惯性运动。惯性权重使粒子保持运动的惯性和搜索扩展空间的趋势。w值越大，探索新区域的能力越强，全局寻优能力越强，但是局部寻优能力越弱。反之，全局寻优能力越弱，局部寻优能力强。较大的w有利于全局搜索，跳出局部极值，不至于陷入局部最优；而较小的w有利于局部搜索，让算法快速收敛到最优解。当问题空间较大时，为了在搜索速度和搜索精度之间达到平衡，通常做法是使算法在前期有较高的全局搜索能力以得到合适的种子，而在后期有较高的局部搜索能力以提高收敛精度，所以w不宜为一个固定的常数。当w=0时，退化成基本粒子群算法，当w=1时，失去对粒子本身经验的思考。推荐取值范围：[0.4,2]，典型取值：0.9、1.2、1.5、1.8。
  • 改善惯性权重
    在解决实际优化问题时，往往希望先采用全局搜索，使搜索空间快速收敛于某一区域，然后采用局部精细搜索以获得高精度的解。因此提出了自适应调整的策略，即随着迭代的进行，线性地减小w的值。这里提供一个简单常用的方法——线性变化策略：随着迭代次数的增加，惯性权重w不断减小，从而使得粒子群算法在初期具有较强的全局收敛能力，在后期具有较强的局部收敛能力。
    在这里插入图片描述

5.5、学习因子：c1、c2

也称为加速系数或加速因子（这两个称呼更加形象地表达了这两个系数的作用）
在这里插入图片描述

6、PSO算法的其他重要概念和技巧

6.1、适应值（fitness values）

即优化目标函数的值，用来评价粒子位置的好坏程度，决定是否更新粒子个体的历史最优位置和群体的历史最优位置，保证粒子朝着最优解的方向搜索。

6.2、位置限制

限制粒子搜索的空间，即自变量的取值范围，对于无约束问题此处可以省略。

6.3、速度限制

为了平衡算法的探索能力与开发能力，需要设定一个合理的速度范围，限制粒子的最大速度 ，即粒子下一步迭代可以移动的最大距离。
Vmax较大时，粒子飞行速度快，探索能力强，但粒子容易飞过最优解；
Vmax较小时，飞行速度慢，开发能力强，但是收敛速度慢，且容易陷入局部最优解；
Vmax一般设为粒子变化范围的10％~20％，可根据实际情况调试，但不能大于粒子(解)的变化范围。

6.4、优化停止准则

停止准则一般有两种：

  • 最大迭代步数：达到最大迭代次数停止
  • 可接受的满意解：上一次迭代后最优解的适应值与本次迭代后最优解的适应值之差小于某个值后停止优化

6.5、初始化

粒子群算法优化的结果受很多因素的影响，其中受粒子初始值的影响比较大，而且较难调控。如果粒子初始值是随机初始化的，在不改变任何参数的情况下，多次优化的结果不一定都收敛到一个全局或局部最优解，也可能会得到一个无效解。所以粒子初始化是一个十分重要的步骤，它关系到整个优化过程中优化收敛的速度与方向。如果粒子的初始化范围选择得好的话可以大大缩短优化的收敛时间，也不易陷入局部最优解。需要根据具体的问题进行分析，如果根据经验判断出最优解一定在某个范围内，则就在这个范围内初始化粒子。如果无法确定，则以粒子的取值边界作为初始化范围。

7、Python代码实现

使用scikit-opt库实现PSO

先安装

pip install scikit-opt

# -*- coding: utf-8 -*-
"""
Created on Sat May 25 09:37:28 2024

@author: 63454
"""


def demo_func(x):
    x1, x2, x3 = x
    return x1 ** 2 + (x2 - 0.05) ** 2 + x3 ** 2


# %% Do PSO
from sko.PSO import PSO

pso = PSO(func=demo_func, n_dim=3, pop=40, max_iter=100, lb=[0, -1, 0.5], ub=[1, 1, 1], w=0.8, c1=0.5, c2=0.5)
pso.run()
print('best_x is ', pso.gbest_x, 'best_y is', pso.gbest_y)

# %% Plot the result
import matplotlib.pyplot as plt
plt.xlabel("iterators", size=11)
plt.ylabel("fitness", size=11)
plt.plot(pso.gbest_y_hist)
# plt.plot(pso.gbest_y_hist, color='b', linewidth=2)
plt.show()

在这里插入图片描述

参考资料

https://github.com/TimePickerWang/MachineLearning/blob/master/MachineLearning/OptAlgorithm/PSO.py
https://blog.csdn.net/xyisv/article/details/79058574
https://zhuanlan.zhihu.com/p/346355572?utm_id=0&eqid=b544778f00000f69000000066527b08b
https://github.com/guofei9987/scikit-opt/blob/master/examples/demo_pso.py
https://scikit-opt.github.io/scikit-opt/#/zh/more_sa
https://www.omegaxyz.com/2017/05/04/introductionofpso/
https://zhuanlan.zhihu.com/p/63956652

机器不学习我学习
关注
  • 15
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
粒子群优化算法（PSO）Python实现
_年_
05-15 1万+
参考： http://yarpiz.com/440/ytea101-particle-swarm-optimization-pso-in-matlab-video-tutorial https://blog.csdn.net/wang454592297/article/details/80367158#comments 感谢大佬们的代码，希望自己早日出坑，本来想直接MOPSO结果跪了。。 粒子...
混沌粒子群优化算法代码
05-13
混沌优化算法代码 粒子群 啊阿的发呆发呆发呆时发生的发生地发啊打发
【智能优化算法】粒子群优化算法PSO附Python代码.zip
09-08
【智能优化算法】粒子群优化算法PSO附Python代码.zip
pythonMOPSO多目标粒子群优化算法 多目标优化算法
最新发布
03-26
【python】MOPSO多目标粒子群优化算法 多目标优化算法 【python】MOPSO多目标粒子群优化算法 多目标优化算法 【python】MOPSO多目标粒子群优化算法 多目标优化算法 【python】MOPSO多目标粒子群优化算法 多目标优化算法 【python】MOPSO多目标粒子群优化算法 多目标优化算法 【python】MOPSO多目标粒子群优化算法 多目标优化算法 【python】MOPSO多目标粒子群优化算法 多目标优化算法 【python】MOPSO多目标粒子群优化算法 多目标优化算法 【python】MOPSO多目标粒子群优化算法 多目标优化算法
智能优化算法之粒子群模型(含python案例代码)
JiaYu的博客
12-11 2334
粒子群优化模型概述粒子群优化（Particle Swarm Optimization，简称PSO）是一种基于群体智能的优化算法，最早由美国社会心理学家和于1995年提出。PSO的灵感来自鸟群和鱼群等自然界群体行为的观察。PSO的基本思想是通过模拟群体中个体的协作和信息共享来寻找问题的最优解。在PSO中，个体被称为“粒子”，每个粒子代表搜索空间中的一个潜在解。这些粒子通过在搜索空间中移动来寻找最优解，其移动的方向和速度受到个体经验和群体经验的影响。PSO的基本模型。
优化算法的python实现——粒子群算法（PSO）
琉璃树下
06-11 1553
代码有个问题，优化目标函数需要每次都在 class 里修改，还在思考代码在这方面的优化（自己对 python 实在不是很熟悉，如果有大佬经过，指点一下就好了（跪。试过几次之后感觉跟参数的选择有很大的关系，也不懂是不是我写得代码问题。希望有大佬能指导指导。根据算法的定义，自己写出来的 Demo 如下, 优化的例子是。我认为在中文互联网上找到的对于粒子群算法讲解得最详细的。停止条件是设置的最大迭代次数。
智能优化算法：粒子群算法相关代码
Jack旭的博客
07-29 6371
智能算法：粒子群算法相关代码 摘要：整理了相关改进粒子群算法的代码，方便大家学习,大家可以借鉴相应的思想去优化其他算法。 代码内容： 1.基于粒子群算法的路径规划（PSO Path Planning）。 2.二进制粒子群算法（BinaryPSO） Khanesar, M.A., Teshnehlab, M. and Shoorehdeli, M.A., 2007, June. A novel binary particle swarm optimization. In 2007 Mediterranean
粒子群优化算法（Particle Swarm Optimization，PSO）的python代码实现。
mzm123321的博客
11-30 714
在原始代码中，只要判断语句 if _fit < self.g_bestFit 成立一次， self.g_best 的值就一直等于变量 self.x[i]的值，即self.g_best保存的不是全局最优解。进行浅复制，如果是不可变对象（如数字、字符串等），可以使用copy.deepcopy。模块来进行对象的复制。具体来说，因为self.x[i]是可变对象（如列表），可以使用copy.copy。在Python中，可以使用copy。这样的赋值语句中，获取的是。
粒子群算法（PSO）的python实现
weixin_57005504的博客
08-23 3277
粒子群算法（PSO）的python实现
智能优化算法之粒子群算法（PSO）的实现（Python附源码）
weixin_42051846的博客
01-13 5646
使用Python编程语言实现粒子群算法用于优化问题的求解，分别从实现思路、算法步骤以及实例这三个部分展开介绍，附源码，操作简单，适合新手学习。
粒子群算法（PSO）的python的入门级实现
08-25
本代码实现了粒子群算法（PSO）的python 实现（入门级），可以实现简单的优化功能， 需根据实际问题改变优化目标，以及部分代码
粒子群算法代码
06-28
详细的粒子群算法PSO在MATLAB中实现
PSO_python_PSO优化_python实现粒子群算法_粒子群_
10-02
python实现单目标优化粒子群算法，将其封装成一个类实现
基于python的粒子群算法PSO优化支持向量机SVM设计与实现
04-29
基于python的粒子群算法PSO优化支持向量机SVM设计与实现
粒子群优化算法PSO代码复现
12-13
粒子群优化算法（Particle Swarm Optimization，PSO）是进化计算的一个分支，是一种模拟自然界的生物活动的随机搜索算法。 PSO模拟了自然界鸟群捕食和鱼群捕食的过程。通过群体中的协作寻找到问题的全局最优解。它...
粒子群优化算法 PSO算法（Particle Swarm Optimization）Python示例代码
08-10
# 粒子群优化算法 PSO算法（Particle Swarm Optimization）Python示例代码 粒子群优化算法（PSO）是一种基于群体智能的优化算法，用于解决各种优化问题。PSO算法通过模拟鸟群或鱼群等生物群体的行为，逐步搜索问题的...
粒子群优化算法 python_【机器学习】粒子群算法（Particle Swarm Optimization）的Python实现...
weixin_40003512的博客
12-08 1009
关键词：粒子群算法、python一、粒子群算法概述粒子群算法，也称粒子群优化算法或鸟群觅食算法(Particle Swarm Optimization)，缩写为 PSO，属于进化算法的一种，和模拟退火算法相似，它也是从随机解出发，通过迭代寻找最优解，它也是通过适应度来评价解的品质，但它比遗传算法规则更为简单，它没有遗传算法的“交叉”(Crossover) 和“变异”(Mutation) 操作，它通...
小白笔记 --粒子群优化算法（PSO）--python实现
steal_tower69的博客
12-12 952
代表粒子自身惯性权重（较大有利于跳出局部最优，较小利于快速收敛找到最优，一般取值范围：（0.4，2），eg:0.9、1.2、1.5、1.8），d是粒子维度(自变量个数)，c代表学习因子（一般取值（0，4）eg:1.6,1.8），r代表[0,1]的随机数，增加搜索随机性。线性变化策略：随着迭代次数的增加，惯性权重ω不断减小，从而使得粒子群算法在初期具有较强的全局收敛能力，在后期具有较强的局部收敛能力。粒子群规模、粒子维度、迭代次数、惯性权重、学习因子、迭代步长范围。，个体最优适应值和位置--再更新群体；
粒子群优化算法python程序_在Python中实现粒子群优化（PSO）算法
06-10
好的，下面是一个简单的粒子群优化算法的Python实现代码。请注意，这只是一个示例，可以根据特定问题进行修改。 ```python import random # 定义问题，目标函数为 x^2 def objective_function(x): return x ** 2 # 定义粒子类 class Particle: def __init__(self, dims): self.position = [random.uniform(-5.0, 5.0) for _ in range(dims)] self.velocity = [0.0 for _ in range(dims)] self.best_position = self.position self.best_score = float('inf') def update_velocity(self, global_best_position, omega, phi_p, phi_g): for i in range(len(self.velocity)): r_p = random.random() r_g = random.random() cognitive = phi_p * r_p * (self.best_position[i] - self.position[i]) social = phi_g * r_g * (global_best_position[i] - self.position[i]) self.velocity[i] = omega * self.velocity[i] + cognitive + social def update_position(self): for i in range(len(self.position)): self.position[i] += self.velocity[i] def evaluate(self): score = objective_function(self.position) if score < self.best_score: self.best_position = self.position self.best_score = score # 定义PSO算法类 class PSO: def __init__(self, dims, num_particles, max_iter): self.dims = dims self.num_particles = num_particles self.max_iter = max_iter self.particles = [Particle(dims) for _ in range(num_particles)] self.global_best_position = self.particles[0].position self.global_best_score = float('inf') def optimize(self): for i in range(self.max_iter): for particle in self.particles: particle.evaluate() if particle.best_score < self.global_best_score: self.global_best_position = particle.best_position self.global_best_score = particle.best_score for particle in self.particles: particle.update_velocity(self.global_best_position, 0.5, 0.5, 0.5) particle.update_position() # 使用示例 pso = PSO(1, 10, 100) pso.optimize() print(pso.global_best_position) ``` 这里我们定义了一个简单的目标函数 `objective_function`，它的实现是 $x^2$。然后我们定义了一个 `Particle` 类来表示粒子，其中包括位置、速度、最佳位置和最佳得分。然后我们定义了一个 `PSO` 类来表示整个算法，其中包括粒子群、最大迭代次数和全局最佳位置和最佳得分。 在 `optimize` 方法中，我们首先遍历所有粒子并评估它们的得分。如果某个粒子的最佳得分比全局最佳得分更好，则更新全局最佳位置和最佳得分。然后我们再次遍历所有粒子，并更新它们的速度和位置。 最后，我们可以使用 `PSO` 类来解决特定问题。在这个示例中，我们使用 `PSO(1, 10, 100)` 来寻找一个一维函数的最小值，其中有10个粒子，最大迭代次数为100。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机器不学习我学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值