PSO粒子群算法

PSO通过最优化算法来自动进行参数搜索。

算法基本原理：

将鸟群觅食行为、算法原理和融合策略参数搜索对应，如下图：

鸟群觅食	粒子群算法	融合策略参数搜索
鸟	粒子	参数组
森林	求解空间	参数空间
食物的量	目标函数值	优化目标值
每只鸟所处位置	空间中的一个解（粒子位置）	参数空间中的一组参数
食物量最多的位置	全局最优解	最优参数组

PSO算法适用性分析：
PSO算法是一种随机的、并行的优化算法。

优点：

不要求被优化函数具有可微、可导、连续等性质，收敛速度较快，算法简单，容易编程实现。

粒子群算法也是多目标搜索，有利于得到多目标意义下的最优解，可以并行的探索多个非劣解，也探索到多个pareto解。（也就是可以同时处理受多个因素影响的问题）

缺点：

（1）对于有多个局部极值点的函数，容易陷入到局部极值点中，得不到正确的结果。造成这种现象的原因有两种，其一是由于待优化函数的性质；其二是由于微粒群算法中微粒的多样性迅速消失，造成早熟收敛。这两个因素通常密不可分地纠缠在一起。

（2）由于缺乏精密搜索方法的配合，PSO算法往往不能得到精确的结果。造成这种问题的原因是PSO算法并没有很充分地利用计算过程中获得的信息，在每一步迭代中，仅仅利用了群体最优和个体最优的信息。

（3）PSO算法虽然提供了全局搜索的可能，但是并不能保证收敛到全局最优点上。

（4）PSO算法是一种启发式的仿生优化算法，当前还没有严格的理论基础，仅仅是通过对某种群体搜索现象的简化模拟而设计的，但并没有从原理上说明这种算法为什么有效，以及它适用的范围。

综上，PSO算法一般适用于一类高维的、存在多个局部极值点而并不需要得到很高精度解的优化问题。

参考：
https://zhuanlan.zhihu.com/p/346355572

http://pbking1.github.io/blog/2014/04/07/something-about-pso-algorithm/