线性回归:
线性分类器介绍:
线性分类器图片
如下图所示,有两堆数据,绿色和红色,以及有三条线将它们分开,我们需要从这三条线中选择一条线,那么选择哪一条线?
这三条线准确率都是100%,那么选择哪条线?如果选择第一条线,那么如果数据有点杂音的话就不在那么准确,而且也能看出来1有点过拟合,3同理,所以我们选择第二条线。接下来解释为什么选择第二条线:从下图可以看出,我们以第二条线向这两对数据做平行线,即途中绿色虚线我们定义margin为这两条绿色线的距离,距离越大那么我们区分这两对数据的准确是不是也也越大?那么我们同理可以做出第一条线和第二条线的安全距离,通过比较可以知道第二条线的安全距离最大。
如果有点杂音,那么如果选择第一条线和第三条线那么就会出现判断错误的情况。
那么我们怎么用数学的方式表达margin?如下图所示定义一些变量和参数:
那么就有关系式
再设置参数
又有关系式
我们可以得出:
推到得出:
所以整个的目标为:
同时条件为:
这些要求必须是1的称为hard constrain,接下来我们看
soft constraint
使用刚才方法进行分类:
那么这个就会产生过拟合,那么我们怎么解决呢?办法:做弱化
即:
线性SVM
梯度下降法: