漫步最优化十六——优化的一般问题

$\textbf{一直没有说我爱你，}$
$\textbf{一直没有拥抱你，}$
$\textbf{道路上虽然会留下伤口，}$
$\textbf{可是随着时间总会愈合。}$
$\textbf{也许我们终会远离，}$
$\textbf{美好的时刻变成回忆。}$
$\textbf{但是现在的我就是忍不住思念。}$
$\qquad\quad\textbf{——畅宝宝的傻逼哥哥}$

在前面的博文中，我们从解的初始估计值开始，通过一系列可以提高解的重复执行的步骤来介绍优化算法，接下来我们会用算法正式的数学描述。

我们会介绍讨论全局收敛的原则，特别的会证明一个定理，这个定理给出了确保算法收敛的条件。

我们还会对优化算法收敛速度进行定量分析，尤其是会给出定量准则，可以用它们来比较不同类型算法的有效性。