机器学习读书笔记：支持向量机

支持向量

​ 整篇文章大量参考小白学习机器学习，在这里先感谢作者。

​ 支持向量机里最难理解的部分之一就是搞清楚什么是支持向量。我尽量用比较通俗易懂的方式来讲讲我自己的理解。

​ 总的来说，支持向量机就是要通过找支持向量来找划分超平面。

​ 以二维平面的样本来做例子，高维数据样本请自行想象和推理。并且SVM最常用和适用的场景是做二分类，如果是多分类的话需要做一些其他的处理(可以用之前的那种方式，参考之前的博客)，处理回归问题(连续值)的话后面也有涉及。

假设所有的样本$X=x_1,x_2...x_n,x_i=(x_{i1},x_{i2})$，每个样本两个属性。$y\in (+1,-1)$。

假设上述的样本集在二维坐标系里面的分布如下所示：

​ 从图中可以看出，这些样本是线性可分的，可以用一条直线分开，而且是无限多条直线，这些直线可以用
$$wx+b=0$$
这样一个方程来表达，由$w$和$b$来确定这条直线的斜率和相对原点的偏移量。

​ 那么推广到多维空间的话，这个方程就变成了：
$$w^{T}x+b=0$$
其中的$w^T$就是表示向量。从距离上看，到这个超平面距离等于1的点，也就是恰好等于$y$的点就是样本点中的支持向量，其他样本点的结果都会大于1。

​ 我们需要这条分界线(超平面)最好是离两边的样本，也就是每类样本距离都远一点，这样的话，泛化误差会好一些。不会出现一点抖动就分类错误。所以，这个分界线是最好在中间位置，如下图所示：

​ 也就是找到最中间的那个分界线。假设存在了这条分界线，所有样本点到这条分界线的距离可以用下面这个公式来计算(至于为什么，自己去看线性代数和解析几何啥的)：
$$r_i=\frac{|w_i^T{x}_i+b|}{||w||}$$
​ 其中$||w||$表示向量$w$的范数，一般就是$\sqrt{w_1^2+w_2^2+...+w_n^2}$。

​ 然后，所有样本点中到这条分界线最近的那些样本，也就是我们这篇文章的重点：支持向量。

​ 支持向量用公式表示的话就是：
$$\gamma =\underset{i=1,2...m}{\min }{r}^i$$
​ 很明显，对于每一条分界线或者超平面，同一个样本集$D$都会得到不同支持向量$\gamma$。支持向量机模型的目的就是找到最合适的分界线或者超平面，这个超平面的特征就是使得支持向量到这个分界面的距离最大，也就是上文说到的，这个分界面到两个类别都比较远(公式1)。
$$\begin{gathered} \underset{w,b}{\max }\gamma \\ s.t.y_i(\frac{w{x}_i+b}{||w||})\ge \gamma \end{gathered}$$
​ 优化项${\max }_{w,b}\gamma$比较好理解，也就是找到一个$w$和$b$来确定一个分界面，使得支持向量们到分界面的距离$\gamma$最大。其中的约束条件就是说所有的点到平面的距离都应该大于等于这个距离$\gamma$。

​ 有些地方的这个约束条件是写的：
$$s.t.(\frac{w{x}_i+b}{||w||})\ge \gamma$$
​ 我的理解是$y_i$反正是只能取值1或者-1，而在上图里面，$y_i=1$的时候，$w{x}_i+b\ge \gamma$，也就是说分界线$wx+b=0$把整个空间划分成了两个部分，一个是大于0，一个是小于0。所以$y_i(w{x}_i+b)$总是可以保证符号为正，而$y_i$就可以忽略了。

怎么找这个“超平面”

​ 实际上不应该叫做怎么找支持向量，应该是来确定这个超平面的两个参数$w$和$b$。

​ 这里还是要简单描述一下后面的推导过程，因为SVM的整个过程就是数学推导的过程。

简化

​ 把公式一拿出来研究一下：

​ 首先，那个约束条件来简化一下：

1. 不等式两边除以$\gamma$，变成$y_i(\frac{w{x}_i+b}{||w||\gamma })\ge 1$。
2. 展开一下，变成$y_i(\frac{w{x}_i}{||w||\gamma }+\frac{b}{||w||\gamma })\ge 1$。
3. 上面的$||w||$和$\gamma$都是标量，可以把值吸入到向量$w$和$b$中，这就和x本身代表了一个变量，x和x/2是一个意思一样。这样就把公式变成了$y_i(w{x}_i+b)\ge 1$

​ 然后，再把那个优化项拿出来简化一下：

​ 1. ${\max }_{w,b}\gamma$展开一下变成${\max }_{w,b}\frac{|w_i^T{x}_i+b|}{||w||}$

2. 最大化$\gamma$的话，就可以最大化$\frac{1}{||w||}$，或者说最小化$||w^2||$
   3. 加上一个1/2，也就是最小化$\frac{1}{2}||w^2||$，这是因为后面要求导，直接把指数的2弄下来乘以1/2，就不需要写了。

​ 最后，这个公式一就变成了(公式2)：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w^2|| \\ s.t.y_i(w_i^T{x}_i+b)\ge 1 \end{gathered}$$

对偶问题求解

​ SVM里求解这个二次规划问题是使用朗格朗日算子来进行计算，本人对拉格朗日算子是学过，考过，然后就直接过了。所以我差不多能理解个大概，知道是在干什么，怎么干成的，为什么能干成，那就不知道了。

1. 用上一个朗格朗日算子${\alpha }_i$的向量，就可以把优化问题转换成一个等价的问题：将优化项和约束项放在一个式子里去求解。上面的公式2增加朗格朗日算子之后变成(公式3)：

$$L(w,b,\alpha )=\frac{1}{2}||w^2||-\sum _{i=1}^N{\alpha }_i(yi(w{x}_i+b)-1)$$

​ 也就是说把求解公式2中的极值问题改成了求解这个公式3–拉格朗日函数的极值。

2. 我们最初的问题是求最小值。再来看一下这个公式3，这个函数应该在可行解区域内与原目标函数完全一致，而在可行解区域外的数值非常大，甚至是无穷大，那么这个没有约束条件的新目标函数的优化问题就与原来有约束条件的原始目标函数的优化问题等价。那么怎么令这个函数达到这个目标呢？从可行解区域入手，也就是约束条件入手。

   • 先再准备一个函数：$\theta (w)={\max }_{{\alpha }_i\ge 0}L(w,b,\alpha )$
   • 假设样本不满足约束条件，也就是$y_i(x_i^T+b)<1$，此时，假设将${\alpha }_i$设置为无穷大，那么函数$L(w,b,\alpha )$的后面的部分就是负无穷大，$y_i(w{x}_i+b)-1<0$，一个负数乘以无穷大就是负无穷大，再弄个 - 号就是无穷大了。那么此时函数$\theta (w)$也就是无穷大了。
   • 假设样本满足了约束条件，也就是$y_i(x_i^T+b)\ge 1$，此时，$\theta (w)$就等于$\frac{1}{2}||w|{|}^2$，因为什么呢，在这种情况下，$\alpha \ge 0$，$y_i(x_i^T+b)-1\ge 0$，那么后面无论如何都是一个大于等于0的数，而$\theta (w)$的定义就是$maxL$，那么最大是啥呢，就是后面那一截等于0的情况下，$L$能取得最大值，所以$\theta (w)=\frac{1}{2}||w|{|}^2$

3. 所以说，从上面的公式3，经过第二步的变换(不知道什么样的脑袋才能想出这个来)，新的目标函数就变成了：
   $$\theta (w)=\{\begin{array}{l}\frac{1}{2}||w|{|}^{2}x满足约束\\ +\infty x不满足约束\end{array}$$

4. 在$x$满足要求的情况下，我们得到了一个更简单的函数形式$\theta (w)$，根据第二步，我们是要求解原函数的最小值，经过等价之后，相当于要求解${\min }_w\theta (w)$，也就是满足函数$\theta (w)$的最小的$w$值。也就是
   $$\underset{w}{\min }\theta (w)=\underset{w}{\min }\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )$$

5. 继续转换成更容易求解的方式：根据拉格朗日函数对偶性，将最小和最大的位置交换一下(至于为什么有对偶性，我是忘记了，不纠结这个东西)，优化的函数就变成对偶问题(公式4)：
   $$\underset{{\alpha }_i\ge 0}{\max }\underset{w}{\min }L(w,b,\alpha )$$
   不过这里要满足这个对偶性，也就是这个max和min可以互换需要满足两个条件：

   • 函数$L(w,b,\alpha )$是凸函数
   • 满足KKT条件(咱也不懂啥是KKT，既然大佬说满足就满足吧)

6. 对于公式4，先看里面的一部分
   $$\underset{w}{\min }L(w,b,\alpha )=\underset{w}{\min }\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i(yi(w{x}_i+b)-1)$$
   先假设其中的$\alpha$为常量，将函数$L$对$w$和$b$求偏导，令偏导的结果等于0，这样求出来的就是令函数$L$取得最小值的$w$和$b$。得到结果是：
   $$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ 0=\sum _{i=1}^N{\alpha }_i{y}_i \end{gathered}$$
   $b$直接没有了，因为求导的时候会得到$\frac{\partial L}{\partial w}={\sum }_{i=1}^N{\alpha }_{i}yib=0$，如果b不为0，那么就是$0={\sum }_{i=1}^N{\alpha }_i{y}_i$

7. 把上面那两个式子代入到公式4里面去求解$\alpha$，公式4经过一通变形转换就会变成：
   $$\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$
   我理解里面${\alpha }_i{\alpha }_j$和$y_i{y}_j$是指每个样本之间的内积。

   然后，再在这个式子前面加上一个max，然后再加上两个约束条件就是各种转换之后的优化函数了(公式5)：
   $$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\alpha \ge 0 \\ \sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$

8. 然后，使用SMO方法来求解这个函数中的$\alpha$，进而再计算出$w$和$b$。

SMO

​ SMO全称为序列最小优化法：Sequential Minimal Optimizaion。是针对SVM算法的一种数据训练方法，通过不同的迭代计算去算出公式5中合适的一系列$\alpha$。中心思想就是在一系列的$\alpha$中，每次挑选出两个参数：${\alpha }_i$和${\alpha }_j$，根据约束条件和优化函数计算出这两个参数的调整值，或者是最新值。

​ 先看一下怎么个计算法：

1. 假设算法初始的$\alpha$是随机值，注意初始化的随机值需要大于等于0(约束条件，N个样本对应N个$\alpha$值。

2. 根据某种策略(后面提到一种启发式的方法，这里先当时随机)挑选出两个$\alpha$值，比如就是${\alpha }_i$和${\alpha }_j$。那么对应的样本就是$(x_i,y_i)$和$(x_j,y_j)$。

3. 因为存在条件${\sum }_{i=1}^N{\alpha }_i{y}_i=0$，那么我们可以得知${\alpha }_i{y}_i+{\alpha }_j{y}_j=c$(公式6), c就等于其他的$\alpha$和$y$的和：${\sum }_{k,k\ne i,j}{\alpha }_k{y}_k=-c$。

4. 把公式6两边都乘以$y_i$，就变成${\alpha }_i{y}_i{y}_i+{\alpha }_j{y}_j{y}_i=c{y}_i$，因为$y\in (1,-1)$，所以$y_i{y}_i$肯定等于1，再令$s=y_i{y}_j$，$\gamma =c{y}_i$，公式6可以变换成${\alpha }_i=\gamma -s{\alpha }_j$(公式7)。

5. 把公式7代入到上面的优化函数，也就是公式7中，会得到一个很长的公式，然后针对这个公式求偏导之后就会得到另外一个很长的公式(里面的${\alpha }_2^{new}$就是我么你这里的${\alpha }_i$，根据这两个样本训练得出的值)，令求完偏导后等于0就可以得到：
   $${\alpha }_j^{new}=\frac{y_j(y_j-y_i+y_i\gamma (x_i^T{x}_i-x_i^T{x}_j)+v_i-v_j)}{x_i^T{x}_i+x_j^T{x}_j-2x_i^T{x}_j}$$

6. 然后再令$E_i=f(x_i)-y_i,其中f(x_i)=x_I^T+b$, 令$\eta =x_i^T{x}_i+x_j^T{x}_j-2x{i}^T{x}_j$，就可以得到${\alpha }_i$的计算方式：$a_i^{new}=a_i^{old}+\frac{y_j(E_i-E_j)}{\eta }$。也就是说，每次迭代，都可以在原有的基础上进行更新。其中：

   $E$就是误差，$\eta$就是学习率。

7. 根据${\alpha }_j^{old}=\gamma -s{\alpha }_i^{old}$和${\alpha }_j^{new}=\gamma -s{\alpha }_i^{new}$，两个公式相减，可以得到${\alpha }_j^{new}={\alpha }_i^{old}+y_i{y}_j({\alpha }_i^{old}-{\alpha }_i^{new})$

8. 回到第二步，这里的某种策略，一般可以选择两个差异较大$\alpha$，因为两个差别较大的值调整，对目标函数的改变较大，更加容易收敛。

9. 上面迭代结束的条件一般可以设置为，整体误差小于某个值，或者规定迭代多少次。

10. 接下来就是计算$b$，前面求偏导之后，没有获得$b$与$\alpha$之间的关系。这里可以根据其中的一个KKT条件来求解$b$：${\alpha }_i(y_{i}f(x_i)-1)=0$，我们有条件$\alpha \ge 0$。假设$\alpha =0$，不管样本取啥值，都可以满足这个条件，但是，如果某个样本所对应的$\alpha =0$，在公式5中就不会起到作用，也就是可以不用考虑这种样本。所以只考虑$\alpha \ne 0$的情况，那么就是$y_i(w^T{x}_i+b)=1$（公式8）。这个里面的$y_i$不是等于-1，就是等于1。所以$w^T{x}_i+b$也是等于1或者-1，符号与$y_i$相同。这样的样本实际上就是在最大间隔上，也就是上面说到的支持向量。

11. 假设讨论的样本中，$i=1,j=2$。把上面的公式8两边乘以$y_1$，就会变成$w{x}_1+b=y1$，而$w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i$，所以可以得到${\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i{x}_1+b=y_1$。因为我们已经获得了${\alpha }_1$和${\alpha }_2$的两个新值，所以，需要将1和2从前面的求和中拆出来，再去更新参数$b$。也就是公式：

    $$b_1^{new}=y_1-\sum _{i=3}^N{\alpha }_i{y}_i{x}_i^T{x}_1-{\alpha }_1^{new}{y}_1{x}_1^T{x}_1-{\alpha }_2^{new}{y}_2{x}_2^T{x}_2$$

12. 根据上面的公式，前面的两项$y_1-{\sum }_{i=3}^N{\alpha }_i{y}_i{x}_i^T{x}_1$又可以变换为：$-E_1+{\alpha }_1^{old}{y}_1{x}_1^T{x}_1+{\alpha }_2^{old}{y}_2{x}_2^T{x}_2$，然后，就可以得到
    $$b_1^{new}=b^{old}-E_1-y_1({\alpha }_1^{new}-{\alpha }_{1}old)x_1^T{x}_1-y_2({\alpha }_2^{new}-{\alpha }_{2}old)x_2^T{x}_1$$
    同样，可得到：
    $$b_2^{new}=b^{old}-E_2-y_1({\alpha }_1^{new}-{\alpha }_{1}old)x_1^T{x}_2-y_2({\alpha }_2^{new}-{\alpha }_{2}old)x_2^T{x}_2$$
    如果两个样本都是支持向量，那么$b_1^{new}=b_2^{new}$，随便取一个就行，如果不相等，取均值：$(b_1^{new}+b_2^{new})/2$

13. 迭代求出$b$和$\alpha$后，就可以可以根据$w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i$计算得到最后一个参数$w$，最终确认模型。

软间隔

​ 看下下面这样的分布图：

​ 假设一个超平面可以将绝大部分的样本分开，只有少数几个样本没法分开。其实我们是接受这样的超平面划分的，但是上面提到的“硬间隔”就没法进行这样的划分，所以就有这“软间隔”这一说。

​ “软间隔”的话，也就是某些样本不满足条件$y_{i}f(x_i)\ge 1$。当然，我们希望这样的样本越少越好。那么优化的目标函数就变成(公式10)：
$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\rho }_{0/1}(y_i(w^T{x}_i+b)-1)$$
​ 就是在原优化函数的后面加了一截，这一截里面的C表示一个大于0的常数，$\rho$为一个损失函数：
$$\rho =\{\begin{array}{l}1,ifz<0\\ 0,otherwise\end{array}$$

1. 如果C为无穷大，那么就要求函数$\rho$的取值必须为0，因为如果$\rho$不为0，这个函数就没有解了，函数的后面一截就是无穷大，没法求最小值。如果$\rho$要为0，就必须保证自变量$Z\ge 0$，也就是说$y_i(w^T{x}_i+b)\ge 1$，也就是样本点都满足条件，那么就是原目标函数。如果C为有限值，就允许某些样本点不满足条件，使得$Z<0$，这样我们的目标函数才有可能有解。我理解是如果不满足条件的样本越少，后面一截的值就越小，目标函数的解就越容易一点。

2. 这里还引入了一个变量，叫做“松弛变量”：$\xi ,\xi ={\rho }_{0/1}(y_i(w^T{x}_i+b)-1)$，至于为啥叫松弛变量，就不清楚了。

3. 然后针对这个目标函数(公式10)同样的转换成对偶问题的函数，不过这里因为后面有另外一截，所以有两个拉格朗日乘子：$\alpha$和$\mu$。在KKT条件中需要增加两条：${\mu }_i\ge 0$, ${\xi }_i{\mu }_i=0$。同样，不知道为啥，知道这个结论就好。

4. 然后，和硬间隔类似，对对偶问题的$L(w,b,\alpha ,\mu ,\xi )$中的$\xi$求偏导等于0后可以得到一个条件：$C={\alpha }_i+{\mu }_i$，也就是说这个常量C由两个朗格朗日乘子确定。

5. 因为$\alpha \ge 0$，$\mu \ge 0$，所以在求解公式5的时候，需要增加一个条件：$C\ge {\alpha }_i\ge 0$。

6. 由上面一堆公式可以推出(各位看官联合上面的一堆公式一起看)：若${\alpha }_i<C$,则${\mu }_i>0,({\alpha }_i+{\mu }_i=C)$，进而有$\xi =0$，所以此时有：$yf(x_i)=1$，即该样本恰好在最大间隔边界上；若${\alpha }_i=C$，则有${\mu }_i=0$,此时若${\xi }_i<=1$, 则该样本落在最大间隔内部；若${\xi }_i>1$则该样本被错误分类。由此可以看出，软间隔支持向量机的最终模型仅与支持向量有关。

7. 根据这里的两个$\alpha$还有另外的约束，根据硬间隔内容中的第三步里面的公式6，可以分成两种情况，如果$y_i\ne y_j$，那么可以得到${\alpha }_i^{old}-{\alpha }_j^{old}=c$，配合条件$C\ge \alpha$，可以得到图(抄的图，图中的$\zeta$就是我公式中的$c$)：

   

   从图中清楚的看出，$\alpha$的最小值$L=max(0,-c),c<0$；最大值为$H=min(C-c,C)$

   当$y_i=y_j$时，可以得到${\alpha }_i^{old}+{\alpha }_j^{old}=c$，可以得到图：

   

   从图中得知，$\alpha$的最小值$L=max(0,c-C)$，最大值$H=min(c,C)$

   在代码中，需要根据$y_i,y_j$的取值来判断最大最小值。如果计算得出的$\alpha$超过了最大最小值，就直接赋值为最大最小值。

8. 其他步骤和硬间隔的步骤一致。

简化版SMO代码

​ 截取的是《机器学习实战》中的代码：

def smoSimple(dataMatIn, classLabels, C, toler, maxIter):
    #转换为numpy的mat存储
    dataMatrix = np.mat(dataMatIn); labelMat = np.mat(classLabels).transpose()
    #初始化b参数，统计dataMatrix的维度
    b = 0; m,n = np.shape(dataMatrix)
    #初始化alpha参数，设为0
    alphas = np.mat(np.zeros((m,1)))
    #初始化迭代次数
    iter_num = 0
    #最多迭代matIter次
    while (iter_num < maxIter):
        alphaPairsChanged = 0
        for i in range(m):
            #步骤1：计算误差Ei
            fXi = float(np.multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[i,:].T)) + b
            Ei = fXi - float(labelMat[i])
            #优化alpha，更设定一定的容错率。
            if ((labelMat[i]*Ei < -toler) and (alphas[i] < C)) or ((labelMat[i]*Ei > toler) and (alphas[i] > 0)):
                #随机选择另一个与alpha_i成对优化的alpha_j
                j = selectJrand(i,m)
                #步骤1：计算误差Ej
                fXj = float(np.multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[j,:].T)) + b
                Ej = fXj - float(labelMat[j])
                #保存更新前的aplpha值，使用深拷贝
                alphaIold = alphas[i].copy(); alphaJold = alphas[j].copy();
                #步骤2：计算上下界L和H
                if (labelMat[i] != labelMat[j]):
                    L = max(0, alphas[j] - alphas[i])
                    H = min(C, C + alphas[j] - alphas[i])
                else:
                    L = max(0, alphas[j] + alphas[i] - C)
                    H = min(C, alphas[j] + alphas[i])
                if L==H: print("L==H"); continue
                #步骤3：计算eta
                eta = 2.0 * dataMatrix[i,:]*dataMatrix[j,:].T - dataMatrix[i,:]*dataMatrix[i,:].T - dataMatrix[j,:]*dataMatrix[j,:].T
                if eta >= 0: print("eta>=0"); continue
                #步骤4：更新alpha_j
                alphas[j] -= labelMat[j]*(Ei - Ej)/eta
                #步骤5：修剪alpha_j
                alphas[j] = clipAlpha(alphas[j],H,L)
                if (abs(alphas[j] - alphaJold) < 0.00001): print("alpha_j变化太小"); continue
                #步骤6：更新alpha_i
                alphas[i] += labelMat[j]*labelMat[i]*(alphaJold - alphas[j])
                #步骤7：更新b_1和b_2
                b1 = b - Ei- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[i,:].T - labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[i,:]*dataMatrix[j,:].T
                b2 = b - Ej- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[j,:].T - labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[j,:]*dataMatrix[j,:].T
                #步骤8：根据b_1和b_2更新b
                if (0 < alphas[i]) and (C > alphas[i]): b = b1
                elif (0 < alphas[j]) and (C > alphas[j]): b = b2
                else: b = (b1 + b2)/2.0
                #统计优化次数
                alphaPairsChanged += 1
                #打印统计信息
                print("第%d次迭代 样本:%d, alpha优化次数:%d" % (iter_num,i,alphaPairsChanged))
        #更新迭代次数
        if (alphaPairsChanged == 0): iter_num += 1
        else: iter_num = 0
        print("迭代次数: %d" % iter_num)
    return b,alphas

其他

核函数

​ 当样本集$D=(x_i,y_i),i\in N$在$d$维空间中不是线性可分时，也就是一个超平面无法有效分开这些样本时，可以通过一个函数将样本集从$d$维升到$d+1$维，从而从高维上来进行划分。这个从$d$维到$d+1$维的过程就是通过核函数来实现。

​ 我理解核函数可以形成一个矩阵M，将数据集从一个$n\ast d$的矩阵乘以这个矩阵M后就可以变成一个新的矩阵$n\ast (d+1)$。

​ 这个矩阵的样子就是：

​ 核函数有以下几种常用的：

​ 核函数的应用就超出我的数学理解范围了，知道了就好。

SVM回归

​ 使用SVM解决回归问题，也就是连续值得问题，可以参考西瓜书，懒得写了，太累。