5.3数学家的把戏

• Non-Linear SVMs

  

  • 大圆圈的点表示支持向量
  • 将一维的点映射到二维空间中（x=x；y=x^2）则线性不可分问题变为了线性可分
  • Feature Space(新的空间叫做feature space)
    • 映射到二维

      

    • 映射到三维

      

      

  • Quadratic Basic Functions

    

    • 以上是固定的几种映射方法中的其中一种
    • x原来是m维的，映射成为：常数项、线性的、二次项、交叉项，大约有（m^2）/2项
  • Calculation of Q(xi) · Q（xj）

    

    • It turns out... ...

      

      • K（a, b）为核函数
• Kernel Trick

  

  • 数据映射到利于分类的高维空间，但是绕过了高维空间中的运算，可以直接在低位空间中计算，极大减少了运算量
• Kernels

  

  

  • 多项式核函数：d越大映射到的空间维度就越高
    • d=2，则映射到（m^2）/2 维
  • 高斯核函数：高斯可以展开为无穷多项
    • 可以映射到无穷维
• String Kernel

  

  • 如何把文本转化为数学？（如何映射到高维空间，如何计算）
    • 提取文本中的子串substring
    • 左侧为原始空间，右侧为高维空间："feature space"
  • Solutions of w & b

    

    • 引入核函数后决策平面的公式几乎一摸一样
    • 核函数的引入极大地推动了SVM的应用，使它从传统的线性分类器变为了能够很好得处理线性不可分问题，核函数功不可没