启发式算法

百度百科介绍：

启发式算法（heuristic algorithm)是相对于最优化算法提出的。一个问题的最优算法求得该问题每个实例的最优解。启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被预计。现阶段，启发式算法以仿自然体算法为主，主要有蚁群算法、模拟退火法、神经网络等。

 

计算机科学的两大基础目标，就是发现可证明其执行效率良好且可得最佳解或次佳解的算法。而启发式算法则试图一次提供一或全部目标。 例如它常能发现很不错的解，但也没办法证明它不会得到较坏的解；它通常可在合理时间解出答案，但也没办法知道它是否每次都可以这样的速度求解。

 

元启发式算法主要指一类通用型的启发式算法，这类算法的优化机理不过分依赖于算法的组织结构信息，可以广泛的应用到函数的组合优化和函数计算中。[2] 

分类

现代启发式算法的各种具体实现方法是相对独立提出的,相互之间有一定的区别。从历史上看,现代启发式算法主要有:模拟退火算法(SA)、遗传算法(GA)、列表搜索算法(ST)、进化规划(EP)、进化策略(ES)、蚁群算法(ACA)、人工神经网络(ANN)。如果从决策变量编码方案的不同来考虑,可以有固定长度的编码(静态编码)和可变长度的编码(动态编码)两种方案。SA是基于Monte Carlo算法迭代求解的一种全局概率型搜索算法,具有区别于常规算法的搜索机制和特点,它是借鉴了热力学的退火原理建立起来的。GA是借鉴“优胜劣汰”生物进化与遗传思想而提出的一种全局性并行搜索算法。EP和ES不像GA注重父代与子代遗传细节而侧重父代与子代表现行为上的联系(强调物种层的行为变化)。TS是一种具有记忆功能的全局逐步优化算法。ACA是受到人们对自然界中真实的蚁群集体行为研究成果的启发而提出的一种基于种群的模拟进化算法,属于随机搜索算法。

由于超启发式算法的研究尚处于起步阶段，对于已有的各种超启发式算法，国际上尚未形成一致的分类方法。按照高层策略的机制不同，现有超启发式算法可以大致分为4类：基于随机选择、基于贪心算法、基于元启发式算法和基于学习的超启发式算法。[4] 

基于随机选择的超启发式算法

该类超启发式算法是从给定的集合中随机选择LLH，组合形成新的启发式算法。这类超启发式算法的特点是结构简单、容易实现。同时，这类超启发式算法也经常被用作基准（bench mark），以评价其他类型的超启发式算法性能。该类超启发式算法可以进一步细分为纯随机（pure random）、带延迟接受条件的随机（random with late acceptance）等。

基于贪心策略的超启发式算法

该类超启发式算法在构造新启发式算法时，每次都挑选那些能够最大化改进当前（问题实例）解的LLH。由于每次挑选LLH时需要评估所有LLH，故此该类方法的执行效率低于基于随机选择的超启发式算法。

基于元启发式算法的超启发式算法

该类超启发式算法采用现有的元启发式算法（作为高层策略）来选择LLH。由于元启发式算法研究相对充分，因此这类超启发式算法的研究成果相对较多。根据所采用的元启发式算法，该类超启发式算法可以细分为基于禁忌搜索、基于遗传算法、基于遗传编程、基于蚁群算法和基于GRASP with path-relinking等。[5] 

基于学习的超启发式算法

该类超启发式算法在构造新启发式算法时，采用一定学习机制，根据现有各种LLH的历史信息来决定采纳哪一个LLH。根据LLH历史信息来源的不同，该类超启发式算法可以进一步分为在线学习（on-line learning）和离线学习（off-line learning）两种：前者是指LLH的历史信息是在求解当前实例过程中积累下来的；后者通常将实例集合分为训练实例和待求解实例两部分，训练实例主要用于积累LLH的历史信息，而待求解实例则可以根据这些历史信息来决定LLH的取舍

我的理解：

启发式算法（Heuristic Algorithm）有不同的定义：一种定义为，一个基于直观或经验的构造的算法，对优化问题的实例能给出可接受的计算成本（计算时间、占用空间等）内，给出一个近似最优解，该近似解于真实最优解的偏离程度不一定可以事先预计；另一种是，启发式算法是一种技术，这种技术使得在可接受的计算成本内去搜寻最好的解，但不一定能保证所得的可行解和最优解，甚至在多数情况下，无法阐述所得解同最优解的近似程度。我比较赞同第二种定义，因为启发式算法现在还没有完备的理论体系，只能视作一种技术。

名词解释

Heuristics，我喜欢的翻译是“探索法” ，而不是“启发式”，因为前者更亲民一些，容易被理解。另外，导致理解困难的一个原因是该词经常出现在一些本来就让人迷糊的专业领域语境中，例如，经常看 到某某杀毒软件用启发式方法查毒，普通民众本来就对杀毒软件很敬畏，看到“启发式”就更摸不着北了。

实际上，这个词的解释十分简单，例如，查朗文词典，可以看到：

The use of experience and practical efforts to find answers to questions or to improve performance

维基百科词条heuristic，将其定义为基于经验的技巧（technique），用于解决问题、学习和探索。并对该词进行了更详尽的解释并罗列了多个相关领域：

A heuristic method is used to rapidly come to a solution that is hoped to be close to the best possible answer, or 'optimal solution'. A heuristic is a "rule of thumb", an educated guess, an intuitive judgment or simply common sense.

A heuristic is a general way of solving a problem. Heuristics as a noun is another name for heuristic methods.

Heuristic可以等同于：实际经验估计（rule of thumb）、有依据的猜测（educated guess, a guess beased on a certain amount of information, and therefore likely to be right）和常识（由经验得来的判断力）。

一个容易理解的解释

人在解决问题时所采取的一种根据经验规则进行发现的方法。其特点是在解决问题时,利用过去的经验,选择已经行之有效的方法，而不是系统地、以确定的 步骤去寻求答案。启发式解决问题的方法是与算法相对立的。算法是把各种可能性都一一进行尝试，最终能找到问题的答案，但它是在很大的问题空间内，花费大量 的时间和精力才能求得答案。启发式方法则是在有限的搜索空间内，大大减少尝试的数量，能迅速地达到问题的解决。但由于这种方法具有尝试错误的特点，所以也 有失败的可能性。科学家的许多重大发现，常常是利用极为简单的启发式规则。

群体智能算法就是启发式算法；研究的重点就是如何平衡局部搜索与全局搜索；有效逃离局部最优解；

近几年比较活跃的算法有如下：

仿动物类的算法：粒子群优化，蚂蚁优化，鱼群算法，蜂群算法等；

仿植物类的算法：向光性算法，杂草优化算法，等等；

仿人类的算法有：和声搜索算法是较好的算法；

近年开始研究情感计算的人较多。

实际应用时差分进化算法较有优势。

关于粒子群算法，理论成熟，应用广泛。