吴恩达机器学习——支持向量机SVM

SVM

SVM hypothesis:
$$\min C\sum _{i=1}^m[y^{(i)}cos{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cos{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{i=1}^n{\theta }_j^2$$
$h_{\theta }(x)=\{\begin{array}{ll}1& \text{if }{\theta }^{T}x⩾0\\ 0& \text{otherwise}\end{array}$
大间距分类器Large Margin Classifier/Intuition：当C很大时
SVM：当C不是很大时
margin：样本到决策边界的最大距离
margin使SVM具有鲁棒性
SVM使正负样本以最大margin分隔开来

大间隔分类器

min ⁡ θ 1 2 ∑ j = 1 n θ j 2 = 1 2 ∥ θ ∥ 2 s . t . θ T x ( i ) ≥ 1 i f    y ( i ) = 1    θ T x ( i ) ≤ − 1    i f    y ( i ) = 0 \min_\theta\frac{1}{2}\sum_{j=1}^n\theta_j^2=\frac{1}{2}\Vert\theta\Vert^2\\ s.t.\quad\theta^Tx^{(i)}\ge1\qquad if\;y^{(i)}=1\\ \qquad\;\theta^Tx^{(i)}\le-1\quad\; if\;y^{(i)}=0 θmin​21​j=1∑n​θ