机器学习基础--各种学习方式（18）--核方法和多核学习

核方法（Kernel Methods）

　　核方法中最有名的是Support Vector Machines(支持向量机)。这种方法把输入数据映射到更高维度上，将其变得可分，使得归类和回归问题更容易建模。

Support Vector Machines (SVM)
Radial Basis Function (RBF)
Linear Discriminate Analysis (LDA)

---

多核学习

　　核选择是核方法的关键内容，因其是提高核方法泛化性能的重要一环。
多核学习（Multiple Kernel Learning，MKL）通过利用多个基本核的组合代替单核，将核选择问题转化为对组合系数的选择。
　　通过将异构数据的不同特征分量利用对应的核函数进行映射，使数据在新的特征空间中得到更好的表达，能显著提高分类性能[31]。
　　MKL的本质问题就是，如何得到这个组合的特征空间，即如何通过学习得到组合系数

算法

　　1）主流方法是对组合系数进行l1-范数和l2-范数约束
　　2）构造多核模型，最基本的方法就是考虑多个基本核函数的凸组合：



　　其中K是基本核函数，M是基本核的总个数，耳朵旁是组合系数，条件可以确保由此产生的Gram矩阵是半正定的。

现状

　　多核学习已被成功应用于机器学习的许多领域，如多示例学习、半监督学习、增量学习等，并在生物特征识别、无人机、信息检索等领域得到了广泛应用。

不足/问题/趋势

　　1）基本核的选择和组合方式缺乏理论依据。多核学习中的很多方法都是基于有限个基本核的线性组合加以讨论，基本核的选择也大都是启发式的
　　2）对于大规模数据集，由于涉及到多核矩阵的快速求解、高维多核扩展矩阵的各种分解等问题，通常的多核学习方法的学习效率会很低，如何提高其学习速度值得我们进行深入的探讨。