基于时间序列的回归问题（1）——粒子群优化原理

1、粒子群优化算法由来

在自然界中，鸟群或鱼群的行为常常引起动物学家的关注，动物学家对鸟群的飞翔和群舞行为很感兴趣动物学家对鸟群能一致地朝一个方向飞行、又突然同时转向、分散、又聚集很感兴趣。是什么能使鸟群在飞行中保持着优美的队形和惊人的同步性，鸟群变化多端的行为是因为每个鸟为了避免碰撞别的鸟而努力在飞行中和其它鸟保持合适的最优距离吗？为了探求这些问题，很多学者对鸟群的行为建立了数学模型，并在计算机上模拟和仿真这些群体行为。
粒子群优化(PSO, particle swarm optimization)算法是计算智能领域，除了蚁群算法，鱼群算法之外的一种群体智能的优化算法，该算法最早由Kennedy和Eberhart在1995年提出的，该算法源自对鸟类捕食问题的研究。

2、粒子群优化算法基本原理

该算法目的是找出最优解，为此，需要在当前位置中找到一个最优方向进行优化，以二维平面举例，所求下一时刻的速度如下公式所示：

其中,各个变量下标i均表示第i个粒子，左边表示所求的第k+1次迭代后的速度，右边一共有三项，第一项为根据之前速度信息的变化量，w为控制之前速度信息的权重，可以通过该系数来控制全局搜索与局部搜索，为是粒子群优化算法达到较好的效果，可以在开始时将此值设置为0.9，使其进行全局搜索，并将自变量逐渐递减，直至0.4，从而进行局部搜索，具体原因可查看Shi和Eberhat的研究论文。第二项为根据该粒子之前探索所得到的最优方向，第三项为根据该群体历史探索的最优位置来确定的优化方向，c为常系数，r为随机数，Pid为第k次迭代第i个粒子的最优位置，Pgd为第k次迭代整个粒子群的最优位置，Xid为第k次迭代第i个粒子当前位置。
这种粒子群的优化算法称为标准粒子群优化算法，目前有很多基于基本粒子群优化算法的改进版本，如需进一步了解可以查阅相关论文。