ML21_SVM_核心知识点 机器学习期末考试

1. SVM基本思想

   1. 寻找超平面
   2. 实现最大间隔

---

2. SVM的形式化描述[熟悉书本]

---

3. 支持向量：距离超平面最近的样本点

---

4. 间隔：两个异类支持向量到超平面的距离和

---

5. 对偶问题[熟悉书本表达式]

---

6. SVM特点:最终的模型仅与支持向量相关.

---

7. SMO求解对偶问题:每次优化两个参数,提高效率

---

8. 核函数

   1. 用途
      1. 用高维空间使样本线性可分
      2. 在原始空间内计算样本在高维特征空间的内积
   2. 重要性:
      1. 核函数定义了一个高维空间
      2. 核函数的选择影响了SVM的性能

---

9. 软间隔

   1. 原因
      1. 完全线性可分的核函数很难找
      2. 即使线性可分也可能是过拟合
   2. 解决思路
      1. 引入允许出错的软间隔
      2. 用C控制弹性

---

10. 替代损失

    1. 原因:0/1损失函数非凸非连续
    2. 常用的替代损失函数
       1. hinge(常用)
       2. 指数
       3. 对率

---

11. 对率替代损失函数的特点

    1. 近似得到对率回归
    2. 输出即得概率
    3. 可直接用于多分类
    4. 不能导出支持向量 开销较大

---

12. 模型优化目标=结构风险+经验风险

    1. 结构分析=模型性质,在这里是间隔大小
    2. 经验风险=模型与数据的契合程度,在这里是软间隔弹性

---

13. SVR支持向量机回归

    1. 损失大于一定值才计算
    2. 形式[书本公式]
    3. 稀疏性

---

14. SVR\SVM的模型总可以表为核函数的线性组合

---

15. 最常见的核方法:引入核函数将线性学习器扩展为非线性.