sklearn中的SVM算法调参

目录

• 1. SVM相关知识点回顾
     1.1. SVM与SVR
     1.2. 核函数
• 1. sklearn中SVM相关库的简介
  • 2.1. 分类库与回归库
  • 2.2. 高斯核调参
    • 2.2.1. 需要调节的参数
    • 2.2.2. 调参方法：网格搜索
• 1. 编程实现

这是《西瓜书带学训练营·实战任务》系列的第三篇笔记

1. SVM相关知识点回顾

1.1. SVM与SVR

• SVM分类算法

  其原始形式是：

  

  其中m为样本个数，我们的样本为(x1,y1),(x2,y2),...,(xm,ym)。w,b是我们的分离超平面的w∙ϕ(xi)+b=0系数, ξi为第i个样本的松弛系数， C为惩罚系数。ϕ(xi)为低维到高维的映射函数

  通过拉格朗日函数以及对偶化后的形式为：

  

• SVR回归算法

  

  其中m为样本个数，我们的样本为(x1,y1),(x2,y2),...,(xm,ym)。w,b是我们的回归超平面的w∙xi+b=0系数, ξ∨i，ξ∧i为第i个样本的松弛系数， C为惩罚系数，ϵ为损失边界，到超平面距离小于ϵ的训练集的点没有损失。ϕ(xi)为低维到高维的映射函数。

  

1.2. 核函数

在scikit-learn中，内置的核函数一共有4种：

• 线性核函