之前,我的博客中写了几种经典的优化算法和机器学习领域的方法:
模拟退火(Simulated Annealing, SA)算法简介与MATLAB实现
蚁群算法(Ant Colony Algorithm, ACA)简介及其MATLAB实现
极限学习机(Extreme Learning Machine, ELM)原理详解和MATLAB实现
学习完毕这么多优化算法后,我们可以发现它们的思路无外乎两个:
Exploration,群优化,全局搜索,避免陷入局部最优。
Exploitation,局部的精细化搜索。
或者是以上两种方法的融合使用:哪个阶段用哪一个方法。
除了直接使用别人的方法,如果我们也想自己设计一个优化算法,那么就可以按照上面的两种思路来做。
同时,看别人的算法时,也要从以上两个角度来思考,对方为什么这么做,我们可以如何改进。在写论文、做研究时,也要多加思考,尽量避免拿来主义、囫囵吞枣!