- SVM
- Roadmap
- SVM Legend(SVM 发明人)
- 俄国数学家
- Decision Boundaries
- “圈”:Decision Boundaries,以这样的形式对空间进行了划分:
- 颜色深的地方值为0
- 离这条线越远,绝对值越高,颜色越亮
- 实验
- “圈”:其实是g(x)的等高线为0时的一条线
- 右上角:计算了每一个数据点的“wx+b”,z轴为g(x)的值
- “圈”:Decision Boundaries,以这样的形式对空间进行了划分:
- Roadmap
- Model Capacity
- 直线可以把三个点分类出来,四个点不行
- 四个点时,无论如何打标签,都可以用矩形框分类
- VC Dimension
- 定义:存在h个点,无论如何给它们打标签,模型都可以将它们正确地分开,则模型的VC Dimension = h
- n维空间中超平面的VC Dimension = n+1
- 决策树,中间节点的个数(越多)决定了它的VC Dimension(越大)
- SVM,取决于使用的核函数等等因素
- 公式:定义了一个测试误差范围
- 等式右侧是置信度,表示我有多少的信心,测试误差不超过训练误差加上某个值
- N是训练样本个数(远大于h)
- 当h增加时,VC Dimension 增加 ,测试误差与训练误差之间的差值会越来越大,则某模型在实际应用中效果比较差的概率(风险)就会增加(VC Dimension :模型复杂性与风险之间的关系)
- 定义:存在h个点,无论如何给它们打标签,模型都可以将它们正确地分开,则模型的VC Dimension = h
- Reading Materials
- 2:适用初学者
- 3:文本分类 & 核函数
- SVM Explained:适用初学者
- libsvm:开源软件包
5.4致敬真神
最新推荐文章于 2024-08-20 13:13:08 发布