SVM研究展望

方向

回归问题、多分类问题、多示例问题、多标记问题、多视角问题、特征压缩问题、时间序列问题、半监督学习问题[和无监督学习问题, 而且包括深度学习 和广度学习 等新的研究热点

• 从理论上研究如何提高各种 SVM 的泛化能力使其达到期望风险更紧的上界;
• 从模型上研究新的正则化项、损失函数和核函数的构建及其适用范围;
• 由于 SVM 需要求解优化问题, 相应的快速求解算法也是一个研究方向.

在传统机器学习中, SVM 已被公认为是处理小样本机器学习问题的典范技术. 然而, 到了当今大
数据时代, 数据多呈现规模巨大和数据价值密度低等新的特点, 这使得 SVM 的发展遇到了新的重大
挑战. 同时, 相对于深度学习和强化学习等新学习范式的蓬勃发展, SVM 的研究陷入了低谷. 本文摒
弃将它们对立的观点, 而强调它们的融合与交叉. 我们将从剖析支持向量机的本质出发, 探讨一些新
的研究思路. 具体包括支持向量机 3 个方面的问题: 最大间隔思想与稀疏性、核函数与相应的统计学
习理论, 以及浅层学习到深度学习与广度学习. 同时, 从这 3 个方面分别提出潜在的挑战性课题, 并展
望可能的发展方向.

1. SVM 最大间隔 (寻找数据边界低密度区域思想) 和稀疏损失函数

如何在大规模和数据价值密度低的数据中找到有价值的信息, 是当今大数据时代的主要课题之一.
因此, SVM 最大间隔 (寻找数据边界低密度区域思想) 和稀疏损失函数的进一步研究意义非凡. 展望
的研究工作如下:

• 经典 SVM 最大间隔是对两类数据中点与点之间而言的, 最大间隔还可考虑数据粒度之间的间
  隔、数据局部的间隔、数据分布之间的