机器学习系列(21)_SVM碎碎念part4：无约束最小化问题

原文地址：SVM - Understanding the math - Unconstrained minimization by Alexandre KOWALCZYK
感谢参与翻译同学：@田苗苗 && @樊睿 && @jozee
时间：2018年1月。
出处：http://blog.csdn.net/han_xiaoyang/article/details/70214565
声明：版权所有，转载请联系寒小阳 ([email protected])并注明出

1.引言

这是SVM系列教程第4部分。接下来我们学习如何求解无约束极小值问题。如果你之前没有读过之前的文章，建议从《SVM碎碎念1》开始学习。

2.本部分内容

这部分内容涉及面很广，需要很多的预备知识。所以我花了很多时间来规划学习路线，决定哪些知识应该解释，而哪些知识可以略过。由于最终的内容过于庞大不便于阅读，我便把它拆分成3个部分，分别为Part4，Part5，Part6！

在Part4的中，我尽可能的把内容讲得简洁明了。这里假设大家已经具备了导数和偏导数的相关知识。同时，也希望你们具备了矩阵变换，计算矩阵行列式的相关知识。

在过去的几个月里，我收到了很多意见和鼓励。这篇文章的发布之时，已经有好几百人订阅了这个系列的文章。谢谢你们所有人，希望你们读的开心！

3.从哪里着手

在第3部分中，我们知道最大化间隔就是最小化w的模。

这意味着我们需要解决以下最优化问题：

最小化(w,b)∥w∥约束条件为 yi(w⋅xi+b)≥1(约束条件对任意的i=1,…,n都成立)

$$最小化 (w,b) \\ \left\|\mathbf w\right \| \\ 约束条件为 \ y_i(\mathbf w \cdot \mathbf x_i+b) \geq1 \\ ( 约束条件对任意的 i = 1,…,n 都成立)$$

首先需要注意的是该最优化问题带有约束条件。它们是由“约束条件为”开头的行来定义的。这里并不是你所想的，只有一个约束条件，而是有$n$个约束条件。（因为最后一行表示任意$i$=1,…,$n$，约束条件都成立）

“那么，如何求解这类问题？自第3部分之后大家就一直在等解决方案！！！”

在处理如此复杂的问题之前，让我们先从一个稍微简单的问题入手。我们先来看看如何求解无约束最优化问题，准确的来说，是求解无约束最小化问题。问题的关键在于找到使得函数返回最小值的输入值。(注意：在SVM问题中，就是求$\mathbf w$二范数的极小值，把$\mathbf w$二范数叫做 $f$，记作$f(\mathbf w)=\left \|\mathbf w\right \|$)。

4.无约束最小化问题

首先定义一个变量$\mathbf x^*$(读作“x 星”，添加一个星号以便知道我们讨论的是一个特定的变量，便于跟$\mathbf x$区分开)。

我们如何知道 $\mathbf x^*$ 是否是函数$f$ 的一个局部极小值点？很简单，我们只需要应用以下的定理：

定理:

令$f$ ：$f：\Omega \rightarrow \Bbb R$ 在$\mathbf x^*$ 处二次连续可微。

如果$\mathbf x^*$ 满足 $\nabla f(\mathbf x^*)=\mathbf 0$ 以及 $\nabla^2 f(\mathbf x^*)=\mathbf 0$ 是正定的，那么$\mathbf x^*$ 就是一个局部极小值点。

(定理证明 ，第11页)

尽管上面的定理非常简洁，但是如果没有相关的背景知识，那么理解上面的定理几乎是不可能的。比如，$\nabla f(\mathbf x^*)=\mathbf 0$ 是什么？ $\nabla^2 f(\mathbf x^*)=\mathbf 0$ 是什么？正定又是什么？

那我们就给出更多信息的定义详细说明：

定理(更详细):

如果 $\mathbf x^*$ 满足以下条件:

1. $f$ 在$\mathbf x^*$ 处梯度为0:
   

   $$\nabla f(\mathbf x^*)=\mathbf 0$$
   以及

2. $f$ 在$\mathbf x^*$ 处的Hessian(海森矩阵)是正定的:
   

   $$(\mathbf z^T)((\nabla^2 f(\mathbf x^*)) \mathbf z>\mathbf 0,\forall \mathbf z \in \Bbb R^n$$
   此处
   $$\nabla^2 f(\mathbf x)= \left ( \begin{matrix} \frac{\partial ^2f}{\partial x_1^2}& \cdots & \frac{\partial ^2f}{\partial x_1\partial x_n} \\ \vdots & \ddots & \vdots & \\ \frac{\partial ^2f}{\partial x_n\partial x_1} & \cdots & \frac{\partial ^2f}{\partial x_n^2}\end{matrix}\right)$$
   ​

那么，$\mathbf x^*$ 就是一个局部极小值点。

4.1 这些都是什么意思？

让我们逐步检验这个定理。

步骤一:

令 $f$ : $\Omega \rightarrow \Bbb R$ 在$\mathbf x^*$ 处二次连续可微。

首先，让我们介绍一下函数$f$，这个函数从集合$Ω$中取值并返回一个实数。这里的第一个问题，就是没有告诉$Ω$是什么，不过我们将在步骤二中揭晓。函数$f$ 应该是连续的且二次可微的，否则定义的其他部分将不成立。

步骤二:

$\mathbf x^*$ 是 $f(\mathbf x)$ 的局部极小值点，当且仅当:

我们希望找到一个点让 f