优化

1、成本函数
成本函数是用优化算法解决问题的关键它通常最难确定。任何优化算法的目标就是要寻找一组能够使成本函数的返回结果达到最小化的输入，，因此成本函数需要返回一个值用以表示方案的好坏。
2、随机搜索
从 输入集中随机选取一部分，然后确定成本最小的输入，得到的可能是较小值，不是最小值，该算法不是一种非常好的优化算法，但简单容易，可以作为评估其他算法优劣的基线。
3、爬山法
较低成本值所对应的输入很可能接近于其他低成本的输入值。
爬山法以一个随机解开始，然后在其临近的解集中寻找更好的解（具有较低成本）。
爬山法往往取得只是局部最优解，可使用随机重复爬山法，即让爬山法以多个随机生成的初始解为起点，运行若干次，借此希望其中一个解可以逼近全局最小值。
4、退火法
退活法以一个问题的随机解开始，它用一个变量来表示温度，这一温度开始非常高，而后逐渐变低。每一次迭代，算法会随机选中解题中的某个数字，然后朝某个方向变化。算法会接受一个更优的解，也会接受一个更差的解，不过随着退火过程的不断进行算法越来越不接受较差的解，知道最后，只接受更优的解。更高成本的解被接受的概率由下列公式给出：

因为温度（接受较差解的意愿）开始非常高，指数将总是接近于0，所以概率几乎是1。随着温度递减，高成本值和低成本值之间的差异越来越重要：差异越大，概率越低，因此算法只倾向于稍差的解而不会是非常差的解。
5、遗传算法
先随机生成一组解，称之为种群。在优化的每一步，算法会计算整个种群的成本函数，从而得到一个题解的有序列表，即是下一代种群。将当前种群中位于最顶端的题解挑选出来，称为精英选拔。新种群的余下部分由修改最优解形成。
修改的方法有两种。
变异：对一个既有的解进行简单的、轻微的、随机的改变。
交叉（配对）：选取最优解中两个解，然后按某种方式进行结合。