支持向量机SVM学习过程中的数学问题及笔记：正则化，范数和KKT条件

1、正则化
正则化是一种回归的形式，它将系数估计（coefficient estimate）朝零的方向进行约束、调整或缩小。也就是说，**正则化可以在学习过程中降低模型复杂度和不稳定程度，从而避免过拟合的危险。**正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识。约束有引导作用，在优化误差函数的时候倾向于选择满足约束的梯度减少的方向，使最终的解倾向于符合先验知识。
正则化问题更具体的数学表达如下：

其中Ω(f)称为“结构风险”，用于描述模型f的某些性质；第二项称为“经验风险”，用于描述模型与训练数据的契合程度；C用于折中二者。从经验风险最小化的角度来看，Ω(f)表述了“我们希望获得具有何种性质的模型”，另一方面，该信息有助于削减假设空间，降低过拟合风险。从正则化的角度来看，Ω(f)称为正则化项，C称为正则化常数，Lp范数是常用的正则化项。

2、范数
范数是一种强化了的距离概念，常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。有时候为了便于理解，我们可以把范数当作距离来理解。在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。
几种常用的范数如下：
（1）LP范数
LP范数不是一个范数，而是一组范数，其定义如下：