粒子群算法(PSO)详解以及使用

1 PSO原理(particle swarm optimazition)

1.1 算法使用范围

根据名字： 粒子群优化，其实就界定了该算法是作为一个优化算法的，优化的目的是什么？使得某个loss 函数最小或者最大吧，这里可以容易使人联想到梯度下降求最小值（缺陷较为明显->有可能在局部达到最小或者最大，并且不适用于带约束条件的问题，优点就是：容易实现，算法思路简单。），于是我们现在考虑PSO，该算法能够适应于带约束条件的问题的求解。

1.2 算法使用方法

• 1 假设你刚刚用神经网络训练出来一个函数（模型），这个函数的输出能够衡量输入样本的失败率，这下你希望获得–针对这个函数，使得这个函数最小的样本是什么呢？（假设函数的输入是一个一维向量，代表了一堆操作变量，输出就是这些操作变量给系统带来的损失）
• 2 此时就可以考虑使用PSO算法，你已经知道了函数，然后你想求这个函数的最小值（如果函数的输入是有约束条件的，那就是带约束的pso算法咯，没有的话就更好实现），PSO算法care的其实只有2件事情，1是损失函数，2是约束条件（甚至你的函数的输入变量的定义域，这也是约束条件）

1.3 算法流程描述

主要参考https://en.wikipedia.org/wiki/Particle_swarm_optimization

很容易得出：算法本身仅仅依赖于函数和约束条件，和之前你使用的任何样本数据都无关。
算法如下：

for each particle i = 1, …, S do
Initialize the particle’s position with a uniformly distributed random vector: x_i ~ U(b_lo, b_up)
Initialize the particle’s best known position to its initial position: p_i ← x_i
if f(p_i) < f(g) then
update the swarm’s best known position: g ← p_i
Initialize the particle’s velocity: v_i ~ U(-|b_up-b_lo|, |b_up-b_lo|)
while a termination criterion is not met do:
for each particle i = 1, …, S do
for each dimension d = 1, …, n do
Pick random numbers: r_p, r_g ~ U(0,1)
Update the particle’s velocity: v_i,d ← ω v_i,d + φ_p r_p (p_i,d-x_i,d) + φ_g r_g (g_d-x_i,d)
Update the particle’s position: x_i ← x_i + lr v_i
if f(x_i) < f(p_i) then
Update the particle’s best known position: p_i ← x_i
if f(p_i) < f(g) then
Update the swarm’s best known position: g ← p_i

应用到具体实例中，各个参数的实际意义：
（待实现）

2 使用实例（待实现）

可以先参考：
https://github.com/tisimst/pyswarm