机器学习算法：SVM

支持向量机（Support Vector Machine, SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。
SVM使用铰链损失函数计算经验风险并在求解系统中加入了正则化项以优化结构风险，是一个具有稀疏性和稳健性的分类器 。SVM可以通过核方法进行非线性分类，是常见的核学习方法之一。

多核SVM是多核学习（multiple kernel learning）在监督学习中的实现，是在标准的非线性SVM中将单个核函数替换为核函数族（kernel family）的改进算法。多核SVM的构建方法可以被归纳为以下5类：

1. 显式规则（fixed rule）：在不加入任何超参数的情形下使用核函数的性质，例如线性可加性构建核函数族。显示规则构建的多核SVM可以直接使用标准SVM的方法进行求解。
2. 启发式方法（heuristic approach）：使用包含参数的组合函数构建核函数族，参数按参与构建的单个核函数的核矩阵或分类表现确定。
3. 优化方法（optimization approach）：使用包含参数的组合函数构建核函数族，参数按核函数间的相似性或最小化结构风险或所得到的优化问题求解。
4. 贝叶斯方法（Bayesian approach）：使用包含参数的组合函数构建核函数族，参数被视为随机变量并按贝叶斯推断方法进行估计。
5. 提升方法（Boosting approach）：按迭代方式不断在核函数族中加入核函数直到多核SVM的分类表现不再提升为止。

从分类的准确性而言，多核SVM具有更高的灵活性，在总体上也优于使用其核函数族中某个单核计算的标准SVM，但非线性和依赖于样本的核函数族构建方法不总是更优的。核函数族的构建通常依具体问题而定。

性质

稳健性与稀疏性：SVM的优化问题同时考虑了经验风险和结构风险最小化，因此具有稳定性。从几何观点，SVM的稳定性体现在其构建超平面决策边界时要求边距最大，因此间隔边界之间有充裕的空间包容测试样本 。SVM使用铰链损失函数作为代理损失，铰链损失函数的取值特点使SVM具有稀疏性，即其决策边界仅由支持向量决定，其余的样本点不参与经验风险最小化 。在使用核方法的非线性学习中，SVM的稳健性和稀疏性在确保了可靠求解结果的同时降低了核矩阵的计算量和内存开销。
与其它线性分类器的关系：SVM是一个广义线性分类器，通过在SVM的算法框架下修改损失函数和优化问题可以得到其它类型的线性分类器，例如将SVM的损失函数替换为logistic损失函数就得到了接近于logistic回归的优化问题 。SVM和logistic回归是功能相近的分类器，二者的区别在于logistic回归的输出具有概率意义，也容易扩展至多分类问题，而SVM的稀疏性和稳定性使其具有良好的泛化能力并在使用核方法时计算量更小 。
作为核方法的性质：SVM不是唯一可以使用核技巧的机器学习算法，logistic回归、岭回归和线性判别分析（LDA）也可通过核方法得到核logistic回归、核岭回归和核线性判别分析（ KLDA）方法。因此SVM是广义上核学习的实现之一。