李宏毅机器学习复习——第5章：支持向量机（SVM）

概述

本节主要是通过支持向量机模型，完成二分类问题。正例记为1：负例记为-1。
支持向量机的核心有两点：合页损失函数以及核函数。
合页损失函数可以通过梯度下降方法优化模型参数。
核函数可以将线性不可分问题，转化为线性问题进行求解。
同时影响参数的样本点数量较少，因此支持向量机模型也可以用于深度模型中。逻辑回归中每一个样本点都会对结果产生影响，不适用于深度模型中。

合页损失函数（hinge loss）：

该函数的函数式如上图所示。当实际值与预测值同号且大于1时，损失函数最小。且该损失函数是一个凸函数，因此可以通过梯度下降法来优化模型参数。

支持向量机对偶表示：

应用拉格朗日对偶性，求解对偶问题得到参数的最优解，可以简化问题的求解过程。
其中x是输入的样本。xi是已经存在的样本，a是代确定的参数。

通过改变K（）即可构建对应的核函数，实现非线性分类问题。

以sigmoid核为例，当预测的变量进入核函数时，先和样本已知的数据做内积，然后通过a赋予相应的权重，最后得到预测值。
通过训练集的数据，也可以训练参数a。