线性分类器

线性回归：
线性分类器介绍：

线性分类器图片

如下图所示，有两堆数据，绿色和红色，以及有三条线将它们分开，我们需要从这三条线中选择一条线，那么选择哪一条线？

这三条线准确率都是100%，那么选择哪条线？如果选择第一条线，那么如果数据有点杂音的话就不在那么准确，而且也能看出来1有点过拟合，3同理，所以我们选择第二条线。接下来解释为什么选择第二条线：从下图可以看出，我们以第二条线向这两对数据做平行线，即途中绿色虚线我们定义margin为这两条绿色线的距离，距离越大那么我们区分这两对数据的准确是不是也也越大？那么我们同理可以做出第一条线和第二条线的安全距离，通过比较可以知道第二条线的安全距离最大。

如果有点杂音，那么如果选择第一条线和第三条线那么就会出现判断错误的情况。

那么我们怎么用数学的方式表达margin？如下图所示定义一些变量和参数：

那么就有关系式

再设置参数

又有关系式

我们可以得出：

推到得出：

所以整个的目标为：

同时条件为：

这些要求必须是1的称为hard constrain，接下来我们看
soft constraint

使用刚才方法进行分类：

那么这个就会产生过拟合，那么我们怎么解决呢？办法：做弱化

即：

线性SVM

梯度下降法：