机器学习中的特征变换(核函数)

在机器学习中，我们提供的数据不一定都是完全线性可分的，很多情况下会存在线性不可分，可是我们需要处理成线性可分，所以我们可以采用特征变换或者核函数的形式，把数据投影到别的空间。数据在A空间不可分，投影到B空间就可能会线性可分，B空间的维度一般会高于A空间的维度。

1.一般情况下，我们考虑将数据投影到别的空间，比如采用多项式。假设x的维度d，如果投影到别的空间，维度会急剧增大，造成维度灾难。维度比较高，在求解过程中就会存在问题，比如你在求解SVM的时候，存在不同元素之间的内积，如果投影过去变成10000维，那么计算内积就要10000次，在继续增大的话可能导致无法计算。使得计算效率十分低下。很多情况下无法计算。

2.为了解决上面的这个问题，我们采用的思路不是先投影，而是把投影和内积和在一起计算，称为kernel function（核函数）。计算核函数来替代其他的计算。

以下是几种常用的核函数表示：

线性核（Linear Kernel）