算法常用思想

1.贪婪法

1.1 介绍

贪婪法又称为贪心算法，是寻找最优解的常用方法。这个方法的模式是将求解过程拆分为若干个子步骤，在每个子步骤都应用贪心原则，选取当前状态下最好的选择，并希望最后堆叠出的结果也是最好的。

1.2 基本思想

1.  建立对问题精确描述的数学模型，包括定义最优解模型；
2. 将问题分解为一系列的子问题，同时定义子问题的最优解；
3. 应用贪心原则确定子问题的局部最优解，并根据最优解模型，用子问题的局部最优解堆叠出全局的最优解。

贪婪法简单高效，省去了去找最优解可能需要的穷举操作，可以得到与最优解比较接近的近似最优解，通常辅助其他算法使用。但是很多情况下贪婪法都得不到真正的最优解

2. 分治法

2.1 介绍

分治法是将无法着手解决的大问题分解成一系列规模较小的相同的问题，然后逐个解决小问题，即所谓的分而治之。

2.2 基本思想

很多情况下，分治法都会使用递归的方式对问题逐级分解，但在每个子问题的层面上，分治法的基本思想可以归纳为以下三个步骤

1. 分解：将问题分解为若干个规模较小，相互独立且与原问题形式相同的子问题，确保各个子问题的解有相同的子结构；
2. 解决：如果上一步分解得到的子问题可以解决，则解决这些子问题，否则对每个子问题使用和上一步相同的方式继续分解，然后求解分解后的子问题，这一个过程可能是递归过程；
3. 合并：将上一步解决的各个子问题的解通过某种规则合并起来，得到原问题的解。

分治法最难也是最灵活的部分就是对问题的分解和结果的合并。数学上能用数学归纳法证明的问题，一般都可以应用分治法解决，这也是应用分治法的强烈信号。

3.动态规划

3.1 介绍  

动态规划是解决多阶段决策问题常用的最优化的理论，和分治法一样，动态规划解决复杂问题的思路也是对问题进行分解，通过求解小规模的子问题的结果反推出原问题的结果。但是动态规划不是简单的“大事化小”，而是沿着决策的阶段划分子问题，决策的阶段可以按照时间划分，也可以按问题的演化状态划分。动态规划的子问题不是相会独立的，子问题之间通常有包含关系。

  最优化原则：不管之前的决策是否是最优决策，要保证从现在开始的决策在之前决策的基础上都是最优决策，则这样的最优子结构就符合最优化原理

  无后向性：各个阶段的子问题决策只影响该阶段的决策，对该阶段之后的决策不产生影响。也就是每个阶段的决策只受之前决策的影响，不影响之后各个阶段的决策。

3.2 基本思想

1. 定义最优子问题：确定问题的优化目标以及如何决策最优解，并对决策过程划分阶段。
2. 定义状态: 状态既是决策的对象，也是决策的结果。对每个阶段来说，对起始状态施加决策，使得状态发生改变，得到决策的结果状态。初始状态经过每个阶段的决策，最终得到的状态就是问题的解。初始状态-决策序列-结果，当然不是所有的决策序列都可以得到最优解，只有一个决策序列能找到最优解。
3. 定义决策和状态转换方程：描述状态转换的一些列等式，也就是n-1阶段到n阶段的规律。
4. 定义边界条件：对于递归加备忘录实现的动态规划方法，边界条件实际上就是递归的终结条件；对于使用递推关系直接实现的动态规划方法，需要确定状态转换方程的递推式的初始条件或边界条件吗，否则无法开始计算。

4. 解空间的穷举搜索

4.1 介绍

解空间的穷举搜索即穷举法，解空间又称为状态空间，是所有可能是解的候选解集合。之所以强调解空间穷举，是想表明穷举法不是满目目的的乱找，而是在有限的解空间内，按照一定的策略进行查找。

4.2 基本思想

1. 确定问题解的定义，解空间的范围以及正确解的判定条件；
2. 根据解空间的特点选择搜索策略，一一检验空间中的候选解是否正确，必要时可辅助一些剪枝算法，排除明显不可能是正确解的检验过程，提高穷举的效率。

4.3 穷举解空间的策略

4.3.1 盲目搜索算法

广度优先搜索和深度优先搜索是两种常用的盲目搜索算法。

4.3.2 启发式搜索算法

利用搜索过程中出现的额外信息直接跳过一些状态，避免盲目的、机械的搜索，就可以加快搜索算法的收敛，这就是启发性搜索。

4.3.3 剪枝策略

对解空间进行穷举搜索时，如果有些状态节点可以根据问题提供的信息明确地判定为不可能是演化出的最优解，也就是说，从此节点开始遍历得到的子树，可能存在正确的解，但是肯定不是最优解，就可以跳过此节点状态的遍历，将极大的提高算法的执行效率。这就是剪枝策略。

4.3.4 搜索算法的评估和收敛

当问题的规模大到一定程度时，使用穷举法就只有理论上的可能性了。对于某些问题，穷举法是最后的办法，但是问题规模又大到无法对解空间进行完整的搜索，这时候就需要对搜索算法进行评估，并确定一些收敛原则。就是找到一个比较好的解就返回，并不是最好的解。