演化学习
1:理由
- 学习是问题候选假设在进化中的一种竞争
- 较好的候选假设在自然选择中不断的演化
2:遗传算法
- GA:通过对当前最好的假设模型重组来产生后续假设模型
1: t = 0,初始化种群P(t)
2:如果不满足终止条件
评估种群P(t)每个染色体的适应度
根据适应度函数选择部分贪色体
根据所选择的染色体产生后代
根据P(t)中染色体的适应度,选择被替换的染色体,以后代替换
t = t + 1
3:终止
2:四大问题
- 如何表示染色体
- 用二进制来表示
- 什么是适应度函数
- 目的是找更高的数值集合
- 如何选择染色体
- 如何产生后代
3:偷东西问题
-
0,随机抽取
-
选择父母,基于适应度函数的选择
- 竞标赛选择,N个里面选择M个
- 截断选择,前f个进入
- 轮盘赌旋转
- exploration 和exploitation的平衡
-
遗传算子
- 对当前的群体选择染色体进行重组,以产生新的后代
-
交叉
- 两点交叉,单点交叉
- 保证种群的稳定性,朝着最优解的方向进化
-
变异
- 随机选择一位,然后取反
- 常以小概率 1/L发生编译
- 保证种群的多样性,避免交叉可能产生的局部收敛
-
演化
-
直接替代父代染色体
- 丢失优秀的解
-
精英法
- 保留最优秀的染色体,丢弃最差的个体
- 往往和选择算子混用
- 保留最优秀的染色体,丢弃最差的个体
-
竞标赛法则
- 让父母染色体和后代的染色体参与竞争,胜利者放入下一代的种群
-
小生境法
- 将每一代个体划分为若干类
- 每一类中选择若干个适应度比较大的个体作为一个类的优秀代表
- 再在种群中,以及不同的种群之间杂交,变异
-
选择机制
- 预原则机制
- 高适应度的替代父代
- 排挤
- 和父代模式相同的会被替换,希望儿女不一样,优质的父母还会保留
- 共享
- 计算适应度和模式的关联关系,然后共享这种模式
- 预原则机制
-
-
3:总结
1:优点
- 无需理解问题内部的相关性和因果性
- 从一个随机的群体开始,以适应度作为某种“启发式”
- 进化论保证了整个群体的演化
2:劣势
-
表示的问题:编码不规范及编码存在表示的不准确性
-
约束的问题:单一的遗传算法编码不能全面地将优化问题的约束表示出来。考虑约束的一个方法就是对不可行解采用阈值,这样,计算的时间必然增加
-
思考旅行商问题的表示和约束!
-
搜索效率的问题:遗传算法通常的效率比其他传统的优化方法低;遗传算法容易出现过早收敛
-
理论保证的问题:遗传算法对算法的精度、可行度、计算复杂性等方面,还没有有效的定量分析方法
3:模式定理
1:基本概念
短的schemata,有大的适应度,那么在子代中会增强他的表达,数量会越来越多
2:模式
- 模式的阶
- ###1#0 = 2
- 1###11 = 3
- 模式的长度
- 第一个确定的位置到最后的距离
- d(###1#0) = 2
- d(1##11) = 4
- 模式理论
- f(h),具体的染色体的适应度
- f(h)平均:染色体的平均适应度
- n:个体的总数量
- h 属于 s ∩ p^t,染色体 h属于模式s,又是pt的成员
- u(s,t)平均适应度
4:自然计算
2:学习分类器系统(LCS)
- John Holland ,遗传算法制服