懒猫的角落晒阳光

回顾上一节：更胖的分割线，更鲁棒，利用二次规划解决SVM问题SVM≡minb,w(maxall αn⩾0L(b,w,α))=minb,w(∞ if violate ;12wTw if feasible)SVM\equiv \min_{b,\mathbf{w}}\left ( \max_{all\ \alpha_{n}\geqslant 0}\mathcal{L}(b,\mathbf{w},\alp

课程介绍，机器学习整体分为3章 - SVM:Support Vector Machine - AdaBoost:Adaptive Boosting - Deep Learning还没有上过机器学习基石，不管怎样一点一点看一点一点积累 为了让margin最大，需要选择各个exampe到Hyperplane最短的那个距离distance(x,b,w)=1∥w∥∣∣wTx+b∣∣\be

第一小节其实没啥，挺简单的，目的应该是简化运算，我的理解比较肤浅，但感觉就是简化运算了而已 zTz′=ϕ2(x)Tϕ2(x′)=1+xTx′+(xTx′)2\mathbf{z}^T\mathbf{z}'=\phi_2(\mathbf{x})^T\phi_2(\mathbf{x}')=1+\mathbf{x}^T\mathbf{x'}+(\mathbf{x}^T\mathbf{x'})^2 先

有时候，SVM可能分割的太过了，黑即是黑，白即是白，其实这样“刚正无私”overfit也不好，所以就需要“中庸之道”，要允许有部分的误差或噪声，这就是为什么要有Soft Margin~还是ppt上的图解释的好 犯错要越少越好，这就是pocket，这是最原始的思想：允许犯错，但是犯的错要越少越好~这个≠\neq表示分错了，这个≠\neq的个数要越少越好 minb,w∑n=1N（yn≠sign(wT

又把soft-margin和hard-margin两种情况对比，还推荐了两个程序包(LIBLINEAR,LIBSVM)margin violating 代表错误程度的 ξn\xi_n ξn=max(1−yn(wTzn+b),0)\xi_n=\max(1-y_n(\mathbf{w}^T\mathbf{z}_n+b),0) 反正就是这两种值，二者取一然后把soft-margin和二次规划问题进行了