许多机器学习算法都假定输入数据是线性可分的。感知器为了保证其收敛性,甚至要求训练数据是完美线性可分的。然而,在现实世界中,大多数情况下我们面对的是非线性问题,针对此类问题,通过降维技术,如PCA和LDA等,将其转化为线性问题并不是最好的办法。
核函数与核技巧
其实很简单,就是将线性不可分的数据映射到更高维度上去使其线性可分。换句话说,利用核PCA,可以通过非线性映射将数据转换到一个高维空间,然后在此高维空间中使用标准PCA将其映射到另外一个低维空间中,并通过线性分类器进行划分(前提条件,样本可根据输入空间的密度进行划分)。但是,这种方法的确定是带来高昂的计算成本,这也是为什么要使用核技巧的原因。通过使用核技巧,可以在原始特征空间中计算两个高维特种空间中向量的相似度。
核PCA公式推导:
标准的PCA的协方差矩阵∑公式如下:
可以使用 ϕ (核函数)通过在原始特征空间上的非线性特征组合来替代样本间点积的计算:
接下来就是进行标准的PCA操作
将上述变换一下,得到特征向量
一般情形下,我们不清楚。的具体形式,于是引入核函数