支持向量机的python实现

完整资料进入【数字空间】查看——搜索"writebug"

1. 理论知识
   1.1 SVM 模型的基本理论
   在之前的课程中讨论的分类器都是线性的，而在实际问题中，很多数据并不是线性可分的，也就是说找不到这样的超平面，能完全区分不同的数据。所以，需要在分类器中引入非线性成分，使得模型更好地贴合数据，让分类更加准确。为了使模型非线性化，我们可以通过基函数将原始特征x变换到另一个空间。问题变为了原始最大裕度优化问题： $$\underset{\mathbf{w},b,\xi }{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{n=1}^N{\xi }_{n}s.t.:y^{(n)}\cdot ({\mathbf{w}}^T\varphi ({\mathbf{x}}^{(n)})+b)\ge 1-{\xi }_n$$ 得到的分类器为： $$\hat{y}(\mathbf{x})=sign({\mathbf{w}}^T\varphi ({\mathbf{x}}^{(n)})+b^{)}$$ 从直观上看，数据在高维空间中更容易分离。为了获得更好的性能，我们希望映射后的x到更高维的空间。然而太高的话代价也很大。使用对偶形式方法解决时会要计算映射值的转置与自身的内积，导致高开销。这个问题可以通过使用内核技巧来解决。

核函数是一个二元函数，可以表示为某些函数的内积： $$k(\mathbf{x},{\mathbf{x}}^{\prime })=\varphi (\mathbf{x}{)}^T\varphi ({\mathbf{x}}^{\prime })$$ Mercer定理：如果函数$k(\mathbf{x},{\mathbf{x}}^{\prime })$是对称正定的，即： $$\int \int g(\mathbf{x})k(\mathbf{x},\mathbf{y})g(\mathbf{y})d\mathbf{x}d\mathbf{y}\ge 0\forall g(\cdot )\in L^2$$ 就存在函数$\varphi (\cdot )$使得$k(\mathbf{x},{\mathbf{x}}^{\prime })=\varphi (\mathbf{x}{)}^T\varphi ({\mathbf{x}}^{\prime })$。一个函数如果满足正定条件就必然是核函数。

最常用的核函数之一是高斯核，有着无限维： $$k(\mathbf{x},{\mathbf{x}}^{\prime })=\exp -\frac{1}{2{\sigma }^2}||\mathbf{x}-{\mathbf{x}}^{\prime }|{|}^2$$ 利用核函数，可以将对偶最大边距分类器重写为： $$\underset{\mathbf{a}}{\max }g(\mathbf{a})s.t.:a_n\ge 0,a_n\le C,\sum _{n=1}^N{a}_n{y}^{(n)}=0$$ 其中， $$g(\mathbf{a})=\sum _{n=1}^N{a}_n-\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{a}_n{a}_m{y}^{(n)}{y}^{(m)}k({\mathbf{x}}^{(n)},{\mathbf{x}}^{(m)})$$ 从而得到诱导分类器： KaTeX parse error: Double superscript at position 40: …um^N_{n=1}a_n^y^̲{(n)})k(\bold x… 核技巧：将函数k代入。如果$\varphi$不改变$\mathbf{x}$则为线性最大边际分类器，否则为基于基函数的有限维非线性最大边际分类器，如果为高斯核，则为无限维非线性最大边际分类器。