感知机和SVM都是线性可分,那他们有什么区别呢?还有什么是支持向量机,硬间隔和软间隔又是什么?。
1.感知机与SVM的异同
2.硬间隔最大化
3.软间隔最大化
1.感知机与SVM的异同
感知机和SVM都是用于处理二分类问题。用超平面区分两类不同的数据。
数据分:线性可分:就用超平面分开。
线性不可分:用曲面分开。
其次,需要把输入变量做一变化,这个变化的方法叫核函数。输入空间和特征空间是不一致的。
区别在于:
1.SVM可以处理线性不可分,且SVM有决策函数一说,就是当点被错分时的惩罚函数。
2. 感知机有多个分离超平面,SVM是间隔。
上图 左为SVM 右为感知机。
2.硬间隔最大化
2.1概念
硬间隔最大化的目的是什么?选最优的模型 唯一的依据。
那怎么选呢? 距离最大
谁和谁的距离? 两支撑超平面间的距离,这也就是硬间隔。
怎么计算距离呢?距离分函数距离和几何距离之分
那何时用函数距离,何时用几何距离?
多点-1超平面可用函数距离
单点->多超平面 多点到多超平面用几何距离
我们一般用几何距离。
2.1.1函数距离和几何距离
2.1.2 为什么不能用函数距离,数学推导
2.1.3 硬间隔最优化的公式及推导过程
3.软间隔最大化
为了不让分离超平面对支撑向量那么敏感,允许点出现在两个分离超平面之间。但是要对出现在支撑超平面间的点做出惩罚。就是支撑向量多一点。这就是软间隔。与硬间隔相比多了一个惩罚函数。
与硬间隔相比,就多了惩罚函数,用合页损失函数表示。