【吴恩达】机器学习第13章SVM学习收获上

从逻辑回归函数引入支持向量机：

1）首先是去掉了1/m。1/m是常数，不影响求导以及最后的结果。这里只是做一个适合SVM的处理。

2）红色箭头的项用cost代替。这里cost1指的是当y=1时，有效项是第一项，得到了如下图像。cost0同理。

3） 与CA+B是同样的效果。都是为了平衡A、B。这里，我们可以认为

4）SVM不会输出概率。通过最小化代价函数，可以得到.，然后得到y等于0或者1.

从SVM到大间隔分类器：

当C特别大的时候，我们会使C后面的一项为0(因为我们的目标是整体最小化）,因此只剩下平方项。

1）p是x在的垂直投影。p是一个实数，可正可负。当x和的夹角大于90度，p为负。反之亦然。

2）对于y=1的样本来说，假如p特别小，那么的范数需要特别大，则与我们最小化的范数相违背。因此我们的决策边界会避免这种情况。所以p不可以特别小。由于我们选择那些使得p大，那么间隔就会变大。正负样本与决策边界之间的间隔大。还有决策边界与向量总是垂直的。