线性可分与线性不可分

1. 线性可分与线性不可分

现实任务中，原始样本空间内并不存在一个能正确划分两类样本的超平面。

 

可将样本从原始空间影射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。例如在上图中，若将原始的二维空间映射到一个合适的三维空间，这样就能找到一个合适的划分超平面，幸运的是如果原始空间是有限维度，即属性数有限，那么一定存在一个高维特征空间使得样本可分。

由于数据点都在二维平面上，所以此时分隔超平面就只是一条直线。但是，如果所给的数据集是三维的，那么此时用来分隔数据的就是一个平面。显而易见，更高维的情况可以依此类推。如果数据集是1024维的，那么就需要一个1023维的某某对象来对数据进行分隔。这个1023维的某某对象到底应该叫什么？N-1维呢？该对象被称为超平面（hyperplane），也就是分类的决策边界。分布在超平面一侧的所有数据都属于某个类别，而分布在另一侧的所有数据则属于另一个类别。

参考周志华《机器学习》

参考《机器学习实战》