Coursera吴恩达机器学习课程 总结笔记及作业代码——第7周支持向量机

1.1 Optimization objective

先回顾一下逻辑回归的相关概念
$h_\theta(x) = \frac{1}{1+e^{-\theta^T x}}$

IF y=1, we want $h_\theta(x) \approx 1$, $\theta^Tx \gg 0$
IF y=0, we want $h_\theta(x) \approx 0$, $\theta^Tx \ll 0$

其CostFunction为：
$J(\theta) = \frac{1}{m}[\sum_{i=1}^m y^{(i)} (-logh_{\theta}(x^{(i)})) + (1-y^{(i)})(-(log(1-h_\theta(x^{(i)}))))] + \frac{\lambda}{2m}\sum_{j=1}^{m}\theta_j^2$

我们看下在SVM中对costfunction的改变

将其中log函数部分换成了蓝色折线所代表的cost函数。

costFunction也相应的改变为
J(θ)=1m[∑mi=1y(i)Cost1(θTx