机器学习之&&Dual（带约束条件的最优化问题）

大家都说dual(对偶)问题(数学渣此前对此只是对其概念的了解)在机器学习应用中很广泛，遂写下(其实查阅纪录)以下关于dual的相关知识，这套理论不仅适用于SVM的优化问题，而是对于所有带约束的优化问题都适用，是优化理论中的一个重要部分。(也许你觉得一个IT人优化问题不重要，其实你仔细想想，现实中的很多问题，都是在有条件约束的情况下的求最优的问题) 简单来说，对于任意一个带约束的优化都可以写成这样的形式：

minf0(x)

s.t.fi(x)≤0,i=1,…,m

hi(x)=0,i=1,…,p

上式的自然语言描述为：在条件fi(x)≤0,i=1,…,m和hi(x)=0,i=1,…,p同时成立时，求f0(x)的最小值。S.t ：subject to意为使得，条件是等。

形式统一能够简化推导过程中不必要的复杂性。其他的形式都可以归约到这样的标准形式，例如一个 maxf(x) 可以转化为 min−f(x) 等。假如 f0,f1,…,fm 全都是凸函数，并且 h1,…,hp 全都是仿射函数（就是形如 Ax+b 的形式），那么这个问题就叫做凸优化（Convex Optimization）问题。凸优化问题有许多优良的性质，例如它的极值是唯一的。不过，这里我们并没有假定需要处理的优化问题是一个凸优化问题。(什么叫凸？凸集是指有这么一个点的集合，其中任取两个点连一条直线，这条线上的点仍然在这个集合内部，因此说“凸”是很形象的。例如下图，对于凸函数（在数学表示上，满足约束条件是仿射函数，也就是线性的Ax+b的形式）来说，局部最优就是全局最优，但对非凸函数来说就不是了。)

虽然约束条件能够帮助我们减小搜索空间，但是如果约束条件本身就是比较复杂的形式的话，其实是一件很让人头痛的问题，为此我们希望把带约束的优化问题转化为无约束的优化问题。为此，我们定义 Lagrangian 如下：

L(x,λ,ν)= f0(x