机器学习技法-1-Linear Support Vector Machine

课程介绍，机器学习整体分为3章
- SVM:Support Vector Machine
- AdaBoost:Adaptive Boosting
- Deep Learning

---

还没有上过机器学习基石，不管怎样一点一点看一点一点积累
为了让margin最大，需要选择各个exampe到Hyperplane最短的那个距离

$$\begin{aligned} distance(x,b,w)=\frac{1}{\left \| \mathbf{w} \right \|} \left | \mathbf{w}^{T}\mathbf{x}+b \right | \end{aligned}$$
距离公式得到，用条件（1）
$$\begin{aligned} y_{n}(\mathbf{w}^{T}x_{n}+b)>0 \end{aligned}$$
用上述条件（1）脱绝对值号，变成
$$\begin{aligned} \max_{}{b,\mathbf{w}}\qquad &margin(b,\mathbf{w})\\ subject\ to\ every\qquad &y_{n}(\mathbf{w}^{T}x_{n}+b)>0\\ &margin(b,\mathbf{w})=\min_{n=1,...,N}\frac{1}{\left \| \mathbf{w} \right \|}y_{n}(\mathbf{w}^{T}x_{n}+b) \end{aligned}$$
然后又用下面的条件（2），把条件（1）免掉秒杀掉，同时最大的margin由 $\max\ \frac{1}{\left \| w \right \|}$ 变成 $\min \frac{1}{2}\mathbf{w}^{T}\mathbf{w}$
$$\begin{aligned} \min_{n=1,...,N}y_{n}(\mathbf{w}^{T}x_{n}+b)=1 \end{aligned}$$
距离中存在最小距离为1，那么其他所有距离必然大于0，条件（1）省掉！
然后把条件（2）进一步放松，成为条件（3），其实就是 $= 1$改成 $\geq 1$
$$\begin{aligned} \min_{n=1,...,N}y_{n}(\mathbf{w}^{T}x_{n}+b)\geq 1 \end{aligned}$$

---

SVM标准形式：（Solving General SVM）

$$\begin{aligned} \min_{b,\mathbf(w)}\qquad &\frac{1}{2}\mathbf{w}^{T}\mathbf{w}\\ subject\ to \qquad &y_{n}(\mathbf{w}^{T}\mathbf{x}_{n}+b)\geq1\ for\ all\ n \end{aligned}$$

最后，boundary example（离边界最近的点） 是支撑向量（候选）
support vector machine (SVM)在支撑向量的帮助下求得“最肥”的超平面

---

用二次规划（Quadratic Programming）求解SVM

对比公式，可以对应地得到二次规划的参数

$$\begin{aligned} Q=\begin{bmatrix} 0 & \mathbf{0}_{d}^{T}\\ \mathbf{0}_{d} & \mathbf{I}_{d} \end{bmatrix} \end{aligned};\ p=\mathbf{0}_{d+1};\ \mathbf{a}^{T}_{n}=y_{n}\begin{bmatrix} 1 & \mathbf{x}_{n}^{T} \end{bmatrix};\ c_{n}=1$$
以上参数，将SVM转换成二次规划，然后调用已有的二次规划程序去解决，最后，求出 $b,\mathbf{w}$，就得到SVM

---

VC demension 不懂是啥？
SVM：smaller ‘VC dim’->better generalization