5.1最大间隔

• SVM

  

  • 核心思想

    

    • 输入空间向更高维度的空间做映射，在新空间中做分类，在新空间中问题被简化，通常认为是成为了线性可分的问题。
    • 类似于神经网络的隐含层表示（从输入向中间阶段做映射之后再分类）
  • SVM本源：线性分类器
    • Linear Classifier

      

      • 推导出：“w”的方向是与分界线垂直的方向（x1、x2为分界线上的两个点）
    • Distance to Hyperplane(空间中的点到超平面的距离)

      

      • 空间中任意一点x到超平面的距离（x'在分界线上，所以wx' +b = 0）
      • 圆点到超平面的距离
    • Selection of Cliassifiers

      

      • 训练的感知机都可以把训练集中的点完美分开，哪个感知机最好呢？
        • 训练误差相同
        • 泛化推广误差（测试集上的误差）如何呢？
      • 例子：

        

        • B比A好：它将空间分割得更加“无偏”
        • Margin & Support Vectors

          

          

          • 线性支持向量机（LSVM）：不仅要把样本分对，还要使Margin越大越好（是线性分类器的性质没有改变）
          • 如何定义"Margin 最大"这件事

            

            • 将w、b缩放总是可以得到wx+b=1、wx+b=-1两条直线