浙大机器学习课程-5-支持向量机（SVM处理非线性可分2，低维到高维映射）

上文提到的加正则项的处理方法，也只是找出一条直线，对于下面的情况，却无能为力，能够找出一条直线，但是对于解决问题却没有太大的帮助

如果能找到这样一个曲面就好了，但是上文的方法限定了是找出一条直线

于是，针对这样上文非线性问题，提出了一个合理化的解决途径
SVM的创始人提出去高维空间找一条直线。定义了一个高维映射

x矢量通过映射变成
x是低维的矢量，是高维的矢量

在低维空间线性不可分的数据集到了高维空间将会以更大的概率被线性分开，解决方法不是在低维空间找不是直线的决策面，而是把低维的矢量映射到高维去，再在高维空间找直线把他们分开

举例：异或问题

二维空间中最简单的非线性可分问题（找不出一条直线把⚪和×分开）

给每一个点加上坐标，C1，C2是两个类

低维到高维映射有很多种，上图的映射方式是把x这个二维向量通过一种映射方式，映射为5维的向量（映射到5维空间）


w与x的维度是一样的，x是二维，w就是二维

当x映射到高维，w求出来也是高维的

题外
决策树是找到一个方的形状，再把这些方的形状叠加到一起，形成一个平面（决策面）

机器学习——支持向量机SVM之非线性模型（低维到高维映射）