机器学习22_支持向量机简述（2021.09.07）
一. 引言：（摘自：https://ladychili.top/SVM/）
机器学习研究者所说的 Support Vector Machines 通常泛指最大边界分类器 (Maximal Margin Classifier)、支持向量分类器 (Support Vector Classifiers) 和支持向量机 (Support Vector Machine) 三者。其本质都是构造linear decision boundary，前者分别是后者在数据纬度和适用范围方面的延伸。
所谓的支持向量机，通俗地讲它其实就是一种二分类模型，其本身模型定义为特征空间上的间隔最大的线性分类器，其学习策略就是间隔最大化，最终可以转化为一个凸二次规划问题的求解。
二. 最大边界分类器（Maximal Margin Classifier）简述
1. 什么是MMC？
举个例子，有一组有关老鼠是否肥胖一维数据，那么如何找到一个阈值，来将老鼠分为肥胖和不肥胖，从而等到来了一只新的老鼠的时候，根据这个得到的阈值来判断这只新来的老鼠是肥胖还是不肥胖呢？方法其实就是找到下图中的绿色分界线，具体的方法其实就是找到下边两组数据的边界点，然后再找到这两个点的中间值，从而将其作为这组数据用于分类的阈值。
2. MMC方法有什么局限性？
所谓的局限性其实就是这种方法对异常值过于敏感，以下图为例，蓝色的点所附带的标签是不肥胖，但是明显它距离其他不肥胖的数据点的距离，要明显远于距离肥胖的数据点的距离，但由于它是最后一个不肥胖点，因此它就会被当作是不肥胖的边界点，之后再与肥胖的边界点一起会生成新的阈值（绿色分界线）。当一个新的待判断肥胖与否的数据进来的时候（黄色点），会由于其在阈值的左边而被判断为不肥胖，但其实，黄色点的数据明显距离肥胖点数据集更近，这也就导致了其在分类上的错误。
=> 可以清晰地从上面的案例中看出来，如果使用MMC方法来实现分类操作，由于该方法本身的局限性，会导致最终的分类结果不够准确，因此就有了之后的支持向量分类器SVC（Support Vector Classifier）方法。
三. 支持向量分类器（SVC）简述
1. 什么是SVC？
所谓的支持向量分类器（SVC）其实就是为了避免异常值造成的不利影响，即在一定程度上可以允许数据集中的部分数据分类错误。这种方法也常被称为Soft Margin方法。以上图为例，蓝色点为异常值，如果用原先的MMC方法，由于蓝色点为不肥胖数据集的边界点，因此会生成如上图的错误阈值。而如果你使用的是SVC方法，则就会将蓝色的异常值点忽略掉，从而生成如下图的正确阈值划分。
但是你怎么知道你选择的这个soft margin就是最优的结果呢？这时候就需要用到交叉验证了。也就是不断地更新soft margin的大小，从而会导致阈值出现在不同的位置上，再计算在soft margin内部分类结果正确与不正确点的个数。从而通过不断更新soft margin的值，找到正确分类结果正确的最多、错误的最少的margin值即可。
2. SVC的高维讨论
上边举的例子只是针对于体重这一个属性去对老鼠进行肥胖与否的分类。但当数据的属性不止一个时，数据集的表现形式也会发生很大的变化。
对于二维数据：SVC是一条直线
对于三维数据：SVC是一个平面
对于更加高维的数据：SVC则是一个超平面
3. SVC的局限性
当你所要使用的数据如下图所示：
这是一个有关人打疫苗剂量多少的分类结果，绿色代表有用，红色则代表没用。也就是说疫苗剂量过多或过少都起不到作用，只有疫苗剂量刚好的情况才有用。这就导致了如果使用支持向量分类器（SVC）不论我们怎样根据margin去设置阈值，都会导致出现很多错误的分类，因此就有了后边的支持向量机SVM（Support Vector Machines）方法。
四. 支持向量机（SVM）简述
1. 什么是SVM？
就如上面所说的，当遇到了无法进行“一刀切”的分类问题的时候，或许可以通过升高维度的方法来解决这个分类问题。（脑筋急转弯：如何用一把刀只切三次就把一个蛋糕分成八份？）
2. 升维操作举例
以上边的疫苗剂量问题为例，具体操作方法如下：
第一步：数据从一个较低的维度开始。
第二步：将数据升到更高地维度（这里是对原始数据进行了求平方）。
第三步：找到一个合适的SVC，将高维数据在这个更高的维度上划分成两组。
注：对于不同的数据集，所采用的升维方法也不相同。
五. 分享：
- 有关支持向量机的教程：https://www.youtube.com/watch?v=efR1C6CvhmE内容为英文，且需要科学上网）
如有问题，敬请指正。欢迎转载，但请注明出处。
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
