机器学习问与答（三）：支持向量机学习（上）

问题一：

这其中的原点是指什么？为什么这个式子等于0？

原点就是整个数据集分布的坐标轴的(0,0)这个点…为什么会问这么蠢的问题…
这个式子等于0因为它是决策边界的公式，在决策边界的两侧，一侧是>0表示正类，一侧<0表示负类。

问题二：



这块需要再重新理解一下。

参考网址：https://www.jianshu.com/p/097ab4f0d4d4

问题三：

什么是凸二次优化问题？现成的优化计算包有哪些？
凸函数（凸函数的割线在函数曲线的上方）：
在优化问题中我们喜欢凸函数的原因：
在数据科学的模型求解中，
1.如果优化的目标函数是凸函数，则局部极小值就是全局最小值。这也意味着我们求得的模型是全局最优的，不会陷入到局部最优值。
2.例如支持向量机的目标函数 就是一个凸函数。

如何来判断一个函数是否是凸函数呢？（线性学习中也有过这个问题）
对于一元函数f(x)，我们可以通过其二阶导数f″(x)的符号来判断。如果函数的二阶导数总是非负，即f″(x)≥0 ，则f(x)是凸函数。
对于多元函数f(X)，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断。如果Hessian矩阵是半正定矩阵，则是f(X)凸函数。

在求解最优化问题中，拉格朗日乘子法和KKT条件是两种最常用的方法。
在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。
凸优化/凸二次优化问题参考：https://blog.csdn.net/promisejia/article/details/81241201

问题四：

第二步、第三步是怎么得到的？

数学实在是太差了，先把别人推导的公式粘一下：

参考：https://blog.csdn.net/BIT_666/article/details/79865225?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task