Coursera机器学习-第七周-Support Vector Machine

Large Margin Classification

支持向量机(Support vector machine)通常用在机器学习 (Machine learning)。是一种监督式学习 (Supervised Learning)的方法，主要用在统计分类 (Classification)问题和回归分析 (Regression)问题上。

支持向量机属于一般化线性分类器，也可以被认为是提克洛夫规范化（Tikhonov Regularization）方法的一个特例。这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区，因此支持向量机也被称为最大边缘区分类器。现在多简称为SVM。

---

Optimization Objective
先来回顾逻辑回归函数：

由图上可知：
$$y=1,h_{\theta}(x)\approx1, \theta^{T}x \gg0$$
$$y=0,h_{\theta}(x)\approx0, \theta^{T}x \ll0$$

Logistic Regression Cost Function:

ps:这是对于一个样本点的cost Function,所以没有除以m

左图：红色线描述的是新的代价函数的，记为$cost_{1}(z)$
右图：红色线描述的是新的代价函数的，记为$cost_{0}(z)$
这里的下标是指在代价函数中对应的 y=1 和 y=0 的情况

构建SVM的代价函数$J(\theta)$:

这个代价函数是由logistic regression变化过来的,只需将

同时乘以m，除以$\lambda$即可得到SVM的代价函数。

---

Large Marign Intuition
记 为 $W$
当C取非常大的值时，例如10000，就要求 $W$非常小
当y=1时， $W$只有前一项，为了使其为0，要求 $\theta^{T}x\ge1$
当y=1时， $W$只有后一项，为了使其为0，要求 θ