《机器学习》（周志华）学习笔记（六）：支持向量机

引言

上一篇学习了神经网络这个机器学习的核心方法。首先对神经网络基本概念及结构进行介绍。神经网络由单个神经元连接构成简单的两层神经元就可以构成能够容易实现基本逻辑与、或、非得机构，但要解决非线性可分问题，还需要使用“多层前馈神经网络”。接着又介绍了针对多层网络的一个非常重要的训练方法——BP算法。在训练过程中，还可能遇到参数寻优陷入局部极小的问题，这时可以采用多参数初始化、“模拟退火”、“随机梯度下降”等方法。然后又介绍了其他的几种常见的神经网络，如单隐层的RBF网络、竞争学习型的ART网络和SOM网络、自适应结构的级联相关网络、带反馈的Elman网络和基于“能量最小化”的Boltzmann机。最后简单学习了下深度学习的基本概念，这部分后面再专门展开深入学习。
本篇继续学习机器学习中另一个核心技术：支持向量机。

1.基本概念——间隔与支持向量

分类问题的基本想法就是要在样本空间上找到一个划分超平面，但能将训练集分开的划分超平面可能有很多，直观上看，应该找下图中两类样品“最中间”的划分超平面，因为它对该划分超平面对两边训练样本局部扰动的“容忍性”最好，患儿言之，这个划分平面所产生的分类结果是最鲁棒的，对未见示例的泛化能力最强。

在样本空间中，划分超平面可以通过如下线性方程描述：

样本空间中任意点x到超平面的距离为