3.1 什么是支持向量机（SVM）？

3.1 什么是支持向量机（SVM）？

支持向量机（Support Vector Machine，SVM）是众多监督学习方法中十分出色的一种，几乎所有讲述经典机器学习方法的教材都会介绍。关于SVM，流传着一个关于天使与魔鬼的故事。
传说魔鬼和天使玩了一个游戏，魔鬼在桌上放了两种颜色的球，如图3.1所示。魔鬼让天使用一根木棍将它们分开。这对天使来说，似乎太容易了。天使不假思索地一摆，便完成了任务，如图3.2所示。魔鬼又加入了更多的球。随着球的增多，似乎有的球不能再被原来的木棍正确分开，如图3.3所示。

​ SVM实际上是在为天使找到木棒的最佳放置位置，使得两边的球都离分隔它们的木棒足够远，如图3.4所示。依照SVM为天使选择的木棒位置，魔鬼即使按刚才的方式继续加入新球，木棒也能很好地将两类不同的球分开，如图3.5所示。

看到天使已经很好地解决了用木棒线性分球的问题，魔鬼又给了天使一个新的挑战，如图3.6所示。按照这种球的摆法，世界上貌似没有一根木棒可以将它们完美分开。但天使毕竟有法力，他一拍桌子，便让这些球飞到了空中，然后凭借念力抓起一张纸片，插在了两类球的中间，如图3.7所示。从魔鬼的角度看这些球，则像是被一条曲线完美的切开了，如图3.8所示。

​ 后来，“无聊”的科学家们把这些球称为“数据”，把木棍称为“分类面”，找到最大间隔的木棒位置的过程称为“优化”，拍桌子让球飞到空中的念力叫“核映射”，在空中分隔球的纸片称为“分类超平面”。这便是SVM的童话故事。

在现实世界的机器学习领域，SVM涵盖了各个方面的知识，也是面试题目中常见的基础模型。

在空间上线性可分的两类点，分别向SVM分类的超平面上做投影，这些点在超平面上的投影仍然是线性可分的吗？

回答：对于任意线性可分的两组点，它们在SVM分类超平面上的投影都是线性不可分的。

支持向量机和感知机有什么关联？

支持向量机（SVM）和感知机（Perceptron）都是用于分类任务的机器学习模型，它们之间存在一定的关联。

注：点击表格中的标题可以进入链接，查看详情

（点击链接→）	感知机	支持向量机（SVM）
定位	最简单的线性分类器之一	另一种线性分类器
目标	找到一个线性决策边界，以最小化误分类点的数量。	旨在找到一个具有最大间隔的超平面，以此提高模型的泛化能力和鲁棒性
方法	感知机通过梯度下降法进行迭代更新，直到无法进一步减少误分类点为止23	它在感知机的基础上增加了“最大化间隔”的约束条件。SVM通过拉格朗日对偶性，将原始问题转化为对偶问题，并求解得到最优解4
联系	感知机可以视为SVM的特例，即没有间隔约束条件的SVM。
优点	感知机在处理小规模数据集时可能会更快，因为它不需要像SVM那样处理复杂的优化问题	SVM因其间隔最大化原则，通常表现得更好，尤其是在处理大规模数据集时。

逸闻趣事

SVM理论的创始人Vladimir Vapnik 和他的牛人同事

“物以类聚，人以群分”，星光闪闪的牛人也往往扎堆出现。1995年，当统计学家Vladimir Vapnik 和他的同事提出SVM理论时，他所在的贝尔实验室还聚集了一大批机器学习领域大名鼎鼎的牛人们，其中就包括被誉为“人工智能领域三驾马车”中的两位——Yann LeCun 和 Yoshua Bengio，还有随机梯度下降法的创始人Leon Bottou。无论是在传统的机器学习领域,还是当今如火如荼的深度学习领域，这几个人的名字都如雷贯耳。而SVM创始人Vapnik的生平也带有一丝传奇色彩。

• 1936年，Vladimir Vapnik 出生于苏联。
• 1958年，他在乌兹别克大学完成硕士学业。
• 1964年，他于莫斯科的控制科学学院获得博士学位。毕业后，他一直在校工作到1990年。在此期间，他成了该校计算机科学与研究系的系主任。
• 1995年，他被伦敦大学聘为计算机与统计科学专业的教授。
• 1991至2001年间，他工作于AT&T 贝尔实验室，并和他的同事们一起提出了支持向量机理论。他们为机器学习的许多方法奠定了理论基础。
• 2002年，他工作于新泽西州普林斯顿的NEC 实验室，同时是哥伦比亚大学的特聘教授。
• 2006年，他成为美国国家工程院院士。
• 2014年，他加入了Facebook人工智能实验室。

参考文献：

《百面机器学习》 诸葛越主编

出版社：人民邮电出版社（北京）

ISBN：978-7-115-48736-0

2022年8月第1版（2022年1月北京第19次印刷）