漫步最优化三十八——非二次函数最小化

$\textbf{你独一无二的声音，}$
$\textbf{穿越了繁杂喧嚣，}$
$\textbf{回荡在我的脑中。}$
$\textbf{你独一无二的声音，}$
$\textbf{如一根漂亮的丝线，}$
$\textbf{牵引着我的内心。}$
$\textbf{你独一无二的声音，}$
$\textbf{唱出了真实的你，}$
$\textbf{成为我心中的一首歌，}$
$\textbf{You are the music in me.}$
$\qquad\textbf{——畅宝宝的傻逼哥哥}$

与牛顿法一样，共轭方向法也是来自于凸二次问题，但是既能用于二次问题也能用于非二次问题。基本的假设是在不断的迭代过程中，目标函数一直在减小，那么我们能够达到解的邻域。如果解的附近 $\mathbf{H}$是正定的，那么原则上来讲最多 $n$次迭代就能收敛，为此共轭方向与牛顿法一样是二次终止的，收敛的速度是二次的，即收敛阶数为二。

对于非二次问题，共轭方向有时候会比较低效，尤其是初始点远离解的时候。这时候前面不可靠的数据会累积到当前的方向向量，这是因为它们是基于过去的方向进行计算的。对于这种情况，解的轨迹可能在参数空间的次优区域徘徊，进展会变慢。这个问题是可以克服的，那就是周期性的重新初始化，也就是每$n$次迭代后重新初始化，这样就消除了前面不可靠的信息。大多数情况下当前方向累积的信息是比较可靠的，抛弃他们可能增加运算量，但是不管怎样，这样做增加了算法的鲁棒性，所以这点代价是值得的。