5.4致敬真神

• SVM
  • Roadmap

    

  • SVM Legend(SVM 发明人)

    

    • 俄国数学家
    • Decision Boundaries

      

      • “圈”：Decision Boundaries，以这样的形式对空间进行了划分：
        • 颜色深的地方值为0
        • 离这条线越远，绝对值越高，颜色越亮
      • 实验

        

        • “圈”：其实是g（x）的等高线为0时的一条线
        • 右上角：计算了每一个数据点的“wx+b”，z轴为g(x)的值
• Model Capacity

  

  

  • 直线可以把三个点分类出来，四个点不行
  • 四个点时，无论如何打标签，都可以用矩形框分类
• VC Dimension

  

  • 定义：存在h个点，无论如何给它们打标签，模型都可以将它们正确地分开，则模型的VC Dimension = h
    • n维空间中超平面的VC Dimension = n+1
    • 决策树，中间节点的个数（越多）决定了它的VC Dimension（越大）
    • SVM，取决于使用的核函数等等因素
  • 公式：定义了一个测试误差范围
    • 等式右侧是置信度，表示我有多少的信心，测试误差不超过训练误差加上某个值
    • N是训练样本个数（远大于h）
    • 当h增加时，VC Dimension 增加 ，测试误差与训练误差之间的差值会越来越大，则某模型在实际应用中效果比较差的概率（风险）就会增加（VC Dimension ：模型复杂性与风险之间的关系）
• Reading Materials

  

  • 2：适用初学者
  • 3：文本分类 & 核函数
  • SVM Explained：适用初学者
  • libsvm：开源软件包