CS229 Lecture 8

CS229 Lecture 8

---

课程要点：

kernels
soft margin
SMO algorithm

---

原始优化问题：

$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$

$s.t{y}^i(w^T{x}^i+b)\ge 1$

其对偶优化问题：

$$\begin{gathered} \underset{w,b}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{y}^{(i)}{y}^{(j)}{\alpha }^i{\alpha }^j{x}^{(i)T}{x}^j \\ s.t{\alpha }_i\ge 0 \\ \sum _{i=1}^m{y}^{(i)}{\alpha }^i=0 \end{gathered}$$

求解出：
$w={\sum }_{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)}$

如果我们对一个新的输入$x$进行预测时：
$h_{w,b}(x)=g(w^{T}x+b)=g({\sum }_{i=1}^m{\alpha }_i{y}^{(i)}{x}^{(i)T}x+b)$

可以看到不论是求解最优化过程中，还是预测过程中，都会有许多向量内积操作。

---

Kernels

在前面线性回归的例子中，为了预测房子自否会在六个月内被买到，将房屋居住面积$x$通过$\varphi$映射为$\left[\begin{array}{c}x\\ x^2\\ x^3\\ x^4\end{array}\right]$。同理，如果说数据在低维空间无法将数据分开，有种方法就是将其映射到高维空间，有可能可以将其分开。即通过映射函数实现$x\stackrel{\varphi }{⟶}\varphi (x)$。这里的$\varphi (x)$的维度可能很高甚至无限维。

我们看到在前面的求解过程中有许多$x^{(i)},x^{(j)}$的内积，后面可能会将其映射到高维空间，那么$<x^{(i)},x^{(j)}>\stackrel{\varphi }{⟶}<\varphi (x^{(i)}),\varphi (x^{(j)})>$。

我们定义$K(x^{(i)},x^{(j)})=<\varphi (x^{(i)}),\varphi (x^{(j)})>$,看下面的一个例子：

$x,z\in R^n$

$$\begin{gathered} K(x,z)=(x^{T}z{)}^2=(\sum _{i=1}^n{x}_i{z}_i)(\sum _{i=j}^n{x}_j{z}_j)= \\ \sum _{i=1}^n\sum _{j=1}^n(x_i{x}_j)(z_i{z}_j)=\varphi (x{)}^T\varphi (z) \end{gathered}$$

假设上面的$n=3$,那么$\varphi (x)=[\begin{array}{c}{x}_{}\end{array}$