1.support vector machines和逻辑回归的区别
(1).逻辑回归是通过添加min(A+lamda*theta^2)来进行优化避免出现过拟合,选出不同的lamda值来控制
(2)SVM是通过min(CA+theta^2),
其中根据h =
在逻辑回归中明显得到
y=1 h(x)近似于1 则theta’*x>>0
y=0 h(x)近似于0 则theta’*x<<0
我们在逻辑回归中对cost function做了一个变形
上诉结论变为:
y=1 h(x)近似于1 则theta’*x>>0 令Z=theta’*x
y=0 h(x)近似于0 则theta’x<<0 令Z=theta’x
根据此公式
y=1 h(x)近似于1 则theta’x>>0,课程中为theta’x>>1强化了分类
y=0 h(x)近似于0 则theta’x<<0,课程中为theta’x>>-1
至此只需要找到Min(CA+1/2theta^2)
MIN(CA +1/2theta^2)时 C是控制量,使得CA=0
则Min(CA+1/2theta) 近似于求MIN(1/2theta^2)
数学上分析SVM有较大边距原因:
感谢Andrew Ng在cousera上面的课程
图片来资源cousera,作为个人笔记使用