遗传算法Genetic Algorithm

Origin

遗传算法的概念最早是由Bagley J.D 于1967年提出的。后来Michigan大学的J.H.Holland教授于1975年开始对遗传算法（Genetic Algorithm, GA）的机理进行系统化的研究。遗传算法是对达尔文生物进化理论(种群(Population)个体(individual)基因 ( Gene ) 染色体 ( Chromosome ) )的简单模拟，其遵循“适者生存”、“优胜劣汰”的原理。

自从遗传算法被提出以来，其得到了广泛的应用，特别是在函数优化、生产调度、模式识别、神经网络、自适应控制等领域，遗传算法更是发挥了重大的作用，大大提高了问题求解的效率。遗传算法也是当前“软计算”领域的重要研究课题。

Definition

计算数学中用于解决最佳化的搜索算法，是进化算法的一种。进化算法最初是借鉴了进化生物学中的一些现象而发展起来的，这些现象包括遗传、突变、自然选择以及杂交等。

Theorem

遗传算法为什么能求一个问题的最优解，和多次迭代运算下为什么会收敛，证明是由模式scheme定理证明。

Introduction

1. 编码与解码
   首先对求解问题进行编码和解码。对于函数优化问题，一般来说，有两种编码方式，一是实数编码，一是二进制编码，两者各有优缺点，二进制编码具有稳定性高、种群多样性大等优点，但是需要的存储空间大，需要解码过程并且难以理解；而实数编码直接用实数表示基因，容易理解并且不要解码过程，但是容易过早收敛，从而陷入局部最优。
2. 初始化种群
   在开始遗传算法迭代过程之前，需要对种群进行初始化。设种群大小为pop_size，每个染色体或个体的长度为chromo_size，种群的大小决定了种群的多样性，而染色体的长度则是由前述的编码过程决定的。一般随机生成初始种群，但是如果知道种群的实际分布，也可以按照此分布来生成初始种群。假设生成的初始种群为(v1, v2, …, vpop_size)。
3. 选择操作(selection)
   选择操作即从前代种群中选择个体到下一代种群的过程。一般根据个体适应度的分布来选择个体。以初始种群(v1, v2, …, vpop_size)为例，假设每个个体的适应度为(fitness(v1), fitness(v2),…, fitness(vpop_size))，一般适应度可以按照解码的过程进行计算。以轮盘赌的方式选择个体。
   随机转动一下轮盘，当轮盘停止转动时，若指针指向某个个体，则该个体被选中。很明显，具有较高适应度的个体比具有较低适应度的个体更有机会被选中。但是这种选择具有随机性，在选择的过程中可能会丢失掉比较好的个体，所以可以使用精英机制，将前代最优个体直接选到下一代中。
   轮盘赌选择具体算法如下（这里假定