最近暑期实训快接近尾声了,针对本次实训,有一些感想,主要是对于GA之类的启发式算法。
启发式算法
之前在知乎上看过一句话,启发式算法(GA,PSO之类)可以用来“水”论文。对于想拿启发式算法来做毕业论文的大哥来说,这是正确的,但是也并不完全正确。启发式算法只是一种优化方法,根本还是在于作者自身对于问题的定义和优化。
以GA和PSO算法为例,算法本身并不麻烦,很好理解,但是对于问题的编码却有很多的方案。可以使用二进制编码,将问题的解表示为0,1的数组,但是这样解的维度会比较高;也可以利用整数编码降低维度,再计算fitness的时候再将整数转换为二进制。对于离散问题,可以使用0,1编码,也可以在实数编码的基础上采用类似于sigmoid转换函数转换为实数;对于连续问题,可以直接使用实数编码。
本次实验采用了matlab和java。matlab采用的是global optimization toolbox。这个工具箱包含了常用的优化算法,例如PSO,GA等,具体的信息可以上官网去看。java部分GA采用的是jenetics工具包,PSO采用的是jswarm。前者可以在github上找到相关使用信息,后者的资料较少。从这里也可以看出,GA的使用可能要比PSO多一些。
特点
启发式算法和梯度下降等优化算法相比有一定的优点:
- 实现简单
- 计算方便,无需求导。有些组合优化问题是不可导的,所以没法用梯度下降的办法求解
- 求解效果较好。启发式算法有一定的可能性跳出局部最优解,当然,想得到全局最优解还是很麻烦的。
但是也有一定的缺点,比如: - 优化时间长。梯度下降算法可以沿着梯度下降最快的方向进行求解,所以速度很快,而启发式算法搜索方向更随机一些,所以求解速度上可能要慢一些。
- 问题不宜太复杂。当问题的解的维度很高时,启发式算法的速度会很慢,而且很难优化出一个较好的结果。
其实启发式算法还是有一定的使用技巧的,尤其是对于解的编码这一块,启发式算法也可以和梯度下降算法结合以加快收敛速度。一般的问题利用算法包可以很好地求解,但是必要时还是需要自行编码实现整个算法,具体的问题得具体分析。