推荐系统学习之随机化算法——遗传算法原理

遗传算法 ( GA ,Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。

首先了解一下基础的生物进化的知识。

种群(Population)：生物的进化以群体的形式进行，这样的一个群体称为种群。

个体：组成种群的单个生物。

基因 (Gene ) ：一个遗传因子。 

染色体 (Chromosome ) ：包含一组的基因。

生存竞争，适者生存：对环境适应度高的、牛B的个体参与繁殖的机会比较多，后代就会越来越多。适应度低的个体参与繁殖的机会比较少，后代就会越来越少。

遗传与变异：新个体会遗传父母双方各一部分的基因，同时有一定的概率发生基因变异。

总结起来，就是繁殖过程，会发生基因交叉( Crossover ) ，基因突变 ( Mutation ) ，适应度( Fitness )低的个体会被逐步淘汰，而适应度高的个体会越来越多。那么经过N代的自然选择后，保存下来的个体都是适应度很高的，其中很可能包含史上产生的适应度最高的那个个体。

同样，我们也可以借鉴生物进化的思想。

将要解决的问题模拟成一个生物进化的过程，通过复制、交叉、突变等操作产生下一代的解，并逐步淘汰掉适应度函数值低的解，增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。

总结起来，遗传算法可分为以下几步：

1. 编码
2. 选择
3. 交叉
4. 变异
5. 适应度函数

举个例子，使用遗传算法解决“0-1背包问题”的思路：0-1背包的解可以编码为一串0-1字符串（0：不取，1：取）

首先，随机产生M个0-1字符串，然后评价这些0-1字符串作为0-1背包问题的解的优劣；然后，随机选择一些字符串通过交叉、突变等操作产生下一代的M个字符串，而且较优的解被选中的概率要比较高。这样经过G代的进化后就可能会产生出0-1背包问题的一个“近似最优解”。

编码：需要将问题的解编码成字符串的形式才能使用遗传算法。最简单的一种编码方式是二进制编码，即将问题的解编码成二进制位数组的形式。例如，问题的解是整数，那么可以将其编码成二进制位数组的形式。将0-1字符串作为0-1背包问题的解就属于二进制编码。

遗传算法有3个最基本的操作：选择，交叉，变异。

选择：选择一些染色体来产生下一代。一种常用的选择策略是 “比例选择”，也就是个体被选中的概率与其适应度函数值成正比。假设群体的个体总数是M，那么那么一个体Xi被选中的概率为f(Xi)/( f(X1) + f(X2) + ……..+ f(Xn) ) 。比例选择实现算法就是所谓的“轮盘赌算法”( Roulette Wheel Selection )

这里先解释一下轮盘赌算法。

 

饼图不同颜色的区域，面积大小对应着不同的概率，面积越大，代表概率越大。假想把这张图打印到一张纸上，随机扔一把小米，落在3区域的小米相对来说数量最多。好了，现在我一粒一粒的扔，扔了10粒米（意味着只选了10个样本），假如5个落在3区域，3个落在1区域，1个落在4区域，1个落在5区域。

在应用中，比方说，7号米粒利用概率38%（因为落在了3号区域），8号米粒利用概率14%，9号米粒利用概率38%，10号米粒利用概率31%。

这样，就避免了所有的米粒都选择概率最大的区域3（即局部最优值问题）

那么，应用到编程中又该如何理解呢？

如果已知A类对象生成概率为P(A)，B类对象生成概率为P(B),C类对象···，K类对象，他们的概率总和为1，问如何在A~K中随机生成一个对象

即我们需要先对0~1区段按照概率大小划分长度，设随机生成一个0~1之间的数，这种随机数生成结果是在0~1均匀分布的，然后看其究竟落在哪个概率区段即为生成哪种对象

轮盘赌算法的一个简单实现如下：

/*
* 按设定的概率，随机选中一个个体
* P[i]表示第i个个体被选中的概率
*/
int RWS()
{
    m = 0;
    r =Random(0,1); //r为0至1的随机数
    for(i=1;i<=N; i++)
    {
            /* 产生的随机数在m~m+P[i]间则认为选中了i
             *  因此i被选中的概率是P[i]
             */
             m = m + P[i];
             if(r<=m) return i;
    }
}

 

交叉(Crossover)：2条染色体交换部分基因，来构造下一代的2条新的染色体。例如：

交叉前：

00000|011100000000|10000

11100|000001111110|00101

交叉后：

00000|000001111110|10000

11100|011100000000|00101

染色体交叉是以一定的概率发生的，这个概率记为Pc 。

变异(Mutation)：在繁殖过程，新产生的染色体中的基因会以一定的概率出错，称为变异。变异发生的概率记为Pm 。例如：

变异前：

000001110000000010000

变异后：

000001110000100010000

适应度函数 (Fitness Function )：（也可以理解成说是目标函数）用于评价某个染色体的适应度，用f(x)表示。将变异后的结果代入到适应度函数中去，选择最优的结果再次进行变换。

有了上面的介绍，现在我们就可以来看看基本遗传算法的伪代码了…… 

基本遗传算法伪代码

/*
* Pc：交叉发生的概率
* Pm：变异发生的概率
* M：种群规模
* G：终止进化的代数
* Tf：进化产生的任何一个个体的适应度函数超过Tf，则可以终止进化过程
*/
初始化Pm，Pc，M，G，Tf等参数。随机产生第一代种群Pop
do
{     
　　计算种群Pop中每一个体的适应度F(i)。
　　初始化空种群newPop
　　do
　　{
　　　　根据适应度以比例选择算法从种群Pop中选出2个个体
　　　　if (random ( 0 , 1 ) < Pc )
　　　　{
　　　　　　对2个个体按交叉概率Pc执行交叉操作
　　　　}
　　　　if (random ( 0 , 1 )  < Pm )
　　　　{
　　　　　　对2个个体按变异概率Pm执行变异操作
　　　　}
       将2个新个体加入种群newPop中
    } until ( M个子代被创建 )
    用newPop取代Pop
}until ( 任何染色体得分超过Tf， 或繁殖代数超过G )