机器学习 day12支持向量机

01 优化目标

支持向量机（SVM）在学习复杂的非线性方程时，能够提供一种更为清晰和更加强大的方式。

---

• 从逻辑回归开始，稍作改动成为支持向量机
  1. 观察下逻辑回归的假设函数和sigmoid激活函数

2. 观察逻辑回归的代价函数，当把整个假设函数的定义代入其中，得到的就是每个样本对总体函数的具体贡献。

3. 为了构建支持向量机，我们从这个代价函数开始进行少量修改，我们取z=1，画出要使用的代价函数，右边都是平的，左边画出一条和最开始的幅度相似的直线，这就是y=1时使用的代价函数。同样的做出y=0时使用的代价函数。

4. 有了这些定义后，就可以开始构造支持向量机了，将修改后的代价函数定义带入到原始的逻辑回归代价函数中。支持向量机的代价函数将1/m去掉，因为1/m是一个常数，不影响得到参数的最优值。对于SVM来说我们将用一个不同的参数来控制第一项A与第二项B的相对权重，如果把C设置的很小，那么B就比A占有更大的权重。于是就得到了支持向量机的总体优化目标

5. 最后和逻辑回归不同的是，支持向量机并不会输出概率，相对的我们得到的是通过优化这个代价函数得到参数sita，支持向量机它是进行了一个直接的预测y=0/y=1,学习得到参数sita后，这就是支持向量机的假设函数的形式。