机器学习技法-5-Kernel Logistic Regression

又把soft-margin和hard-margin两种情况对比，还推荐了两个程序包(LIBLINEAR,LIBSVM)

margin violating 代表错误程度的 $\xi_n$
$\xi_n=\max(1-y_n(\mathbf{w}^T\mathbf{z}_n+b),0)$
反正就是这两种值，二者取一

然后把soft-margin和二次规划问题进行了一个对比，这个习题中有考

$$\min \frac{1}{2}\mathbf{w}^T\mathbf{w}+C\sum\hat{err}$$

$$\min \frac{\lambda}{N}\mathbf{w}^T\mathbf{w}+\frac{1}{N}\sum err$$
把参数都相等，最后画出 $C=\frac{1}{2\lambda}$
习题，C越大， $\lambda$越小，less regularization(为啥？不理解)

---

第二小节，扯得是err,
$err_{0/1}$
PLA,不太理解0/1的意思？

$\hat{err}_{SVM}$
soft-margin

$err_{SCE}$
二次规划问题
习题貌似看图就很清楚

当ys大于等于1,$err_{0/1}$和$\hat{err}_{SVM}$相等

---

我只能把我明白的往上写。。。感觉好难不会再爱了。。。

我只能说这是一个很重要的式子：
$g(\mathbf{x})=\theta(A\cdot(\mathbf{w}^T_{SVM}\phi(\mathbf{x})+b_{SVM})+B)$
这个式子写在这里干嘛，我是不明白的~
习题中主要是为了，用kernel的思想去解决问题~所以：

$$\mathbf{w}^T_{SVM}\phi(\mathbf{x})+b_{SVM}=\sum_{SV}\alpha_ny_nK(\mathbf{x}_n,\mathbf{x})+b_{SVM}$$
Probabilistic SVM,提出的新概念

---

我只能说这个式子好像很重要，

$$\mathbf{w_*}=\sum^N_{n=1}\beta_n\mathbf{z_n}$$
通过这个式子，得到一个关于变量 $\beta_n$的问题
这个问题叫做，Kernel Logistic Regression(KLR)

---

所以第5章就糊里糊涂的结束了？！