78-SVM思想解决回归问题

SVM思想解决回归问题

  先回忆一下回归问题的本质其实就是找到一条直线或曲线能够最佳程度的拟合数据点，在这里怎么定义拟合，就是不同回归算法的关键。比如之前学习的线性回归算法定义拟合的方式就是让我们的数据点到我们预测的这条直线相应的 MSE 的值最小。

  而对于 SVM 这个算法的思路来说，对拟合的定义是这样的。我们要指定一个 margin 值，我们期望在 margin 范围里样本数据点越多越好。
  

  如果在 margin 范围里，数据样本点越多，意味着这个范围能够比较好的表达样本数据点。在这种情况下，我们取中间的这根直线作为我们的回归结果，用它来预测为未知点相应的 $y$ 的值。换句话说，使用 SVM 思路解决回归问题与用它来解决分类问题刚好相反。使用 SVM 解决分类问题，我们希望在 margin 区域里面的样本点越少越好，而解决回归问题希望在这个范围的样本点越多越好。

  在具体训练这个 SVM 回归问题的结果的时候，我们是对 margin 的范围进行指定的，所以在这里就引入了一个超参数 $\epsilon$。

  
  下面我们直接使用 sklearn 中 SVM 来解决回归问题。
  
  

---

  这里我就只介绍使用 SVM 思想解决回归问题的用法。如果有兴趣的话，你还可以通过调参的手段来提高它的预测正确率。

  具体代码见 78 SVM思想解决回归问题.ipynb