coursera-斯坦福-机器学习-吴恩达-第7周笔记-支持向量机SVM

coursera-斯坦福-机器学习-吴恩达-第7周笔记-支持向量机SVM

1大间距分类器 large margin classifier

1.1通过逻辑回归引入SVM

先回顾一下逻辑回归的相关概念
$h_\theta(x) = \frac{1}{1+e^{-\theta^T x}}$

• IF y=1, we want hθ(x)≈1, θTx≫0
• IF y=0, we want hθ(x)≈0, θTx≪0

其CostFunction为：

$J(\theta) = \frac{1}{m}[\sum_{i=1}^m y^{(i)} (-logh_{\theta}(x^{(i)})) + (1-y^{(i)})(-(log(1-h_\theta(x^{(i)}))))] + \frac{\lambda}{2m}\sum_{j=1}^{m}\theta_j^2$

在SVM中对costfunction进行改变 ：

将其中log函数部分换成了蓝色折线所代表的cost函数。（更简洁）

• costFunction也相应的改变为：
  J(θ)=1m[∑mi=1y(i)Cost1(θTx(i))+(1−y(i))Cost0(θT