论文笔记_机器学习:A general kernelization framework for learning algorithms based on kernel PCA

Abstract

• 本文提出了一种学习算法的通用内核化框架；
• 通过两个阶段实现，即先通过核主成分分析（KPCA）处理数据，然后直接用转换后的数据执行学习算法；
• 本文会介绍这个核心框架，并证明了在一些条件下，这个框架下的内核化等同于传统的内核方法。实际上，大多数学习算法通常都满足这些温和的条件；
• 因此，大多数学习算法都可以在此框架下进行内核化，而无需重新构造为内积形式——传统内核方法中常见且至关重要的一步；
• 在此框架的启发下，本文还提出了一种基于低秩KPCA的新型核方法，可用于消除特征空间中的噪声，加速核算法，提高核算法的数值稳定性。

Introduction

• 核函数可以隐式地实现从原始空间到高甚至无限维特征空间的非线性映射，因此具有更好的性能；
• 核主成分分析（KPCA）是主成分分析（PCA）的核方法，也是最早的核心技巧之一，许多算法通过这一框架实现。然而当学习算法难以重新表述为内积形式时，不能直接应用这一方法；
• 本文提出通过核主成分分析（KPCA）转换数据，然后用转换后的数据直接执行学习算法；
• 本文将证明大多数学习算法可以在此框架下进行内核化；
• 通常无法识别内核空间中数据的分布和流型，但是可以转向查看KPCA转换后数据的分布，因为内核空间中数据的流型等同于KPCA转换后数据的流型；
• 本文提出了一种基于低秩KPCA的学习算法的全新内核方法。与基于全秩KPCA的内核方法相比，基于KPCA的低秩内核方法具有几个优点。例如，它可以消除特征空间中的噪声，加速内核算法并提高内核算法的数值稳定性。

Kernel PCA revisited

• 内核PCA是PCA的非线性扩展（关于PCA，这个介绍很详细 http://blog.codinglabs.org/articles/pca-tutorial.html）
• 令$L=I-\frac{1}{n}11^T$，$C=\frac{1}{n}XL(XL{)}^T$ ，PCA通过计算协方差矩阵C的特征向量来提取主成分。
• 核PCA不是在输入空间中进行PCA，而是在映射的高维内积空间中执行PCA。
• 映射通过核函数K实现，K可以是满足Mercer条件的任何正核，如RBF。
• 对于可以用内积表示的算法，也可以使用内核技巧在特征空间中执行算法。PCA就是其中之一（输出可以仅由内积计算）。

Kernel method for learning algorithms based on full-rank KPCA

• 定义全秩PCA为：对于训练数据矩阵X，假设集中内积矩阵M的秩是r。如果我们提取PCA的前r个主要组成部分，则已经完成了全秩PCA。全秩KPCA同理。
• (定理)本文证明了在以下条件下，可以通过全秩KPCA利用变换后的数据执行学习算法来实现学习算法的核方法：

1. 算法的输出结果可以仅由$x^T{x}_i$来计算，$x_i$是训练数据，$x$是新的测试点。
2. 以任意常数倍对输入数据进行变换不会改变学习算法的输出结果。

• 实际上，大多数学习算法都满足上述两个条件，因此都可以通过这种方法实现内核方法，即使用通过全秩KPCA转换后的数据直接执行学习算法。
• (定理)如果对原始数据执行学习算法等价于对经过PCA转换后的数据执行学习算法。

Remarks

• 这一部分主要就是介绍这个图
  
• 主要是直观地介绍本文提出的方法及如何应用。
  后续部分是介绍了应用这一方法的例子以及实验，略。