支持向量机与核函数

（1）支持向量机是通过引入特征变换来将原空间的非线性问题转化为新空间中的线性问题。

（2）在前面的博文中，我们得到结论，支持向量机的决策规则为：

                                                            

  ①如果我们对样本特征x进行非线性变换，记新特征为，则在新特征空间里构建的支持向量机的决策函数为：

                                                               

  ②相应的优化问题转化为：

                                                         

  ③定义支持向量机的等式形式为(为支持向量)：

                                                                    

（3）核函数：

  仔细观察（2）中的公式会发现，无论变换的具体形式如何，变换对支持向量机的影响仅仅是把两个样本在原特征空间中的内积变成了在新空间中的内积。实际上，新空间中的内积也是原特征的函数，可记作：

                                                                             

  我们称其为核函数。

（4）核函数构造支持向量机：

  ①支持向量机的决策问题：

                                                                             

  ②最优化问题：

                                                                 

  ③支持向量满足：