LR模型与SVM对比

LR模型与SVM对比

相同点

1. 都是线性分类器。本质上都是求一个最佳分类超平面。都是监督学习算法。
2. 都是判别模型。通过决策函数，判别输入特征之间的差别来进行分类。

不同点

1.损失函数不同：
LR的损失函数是交叉熵，SVM损失函数为合页损失函数
SVM目标函数为损失函数加正则项：

2. 两个模型对数据和参数的敏感程度不同：
(1) SVM考虑分类边界线附近的样本, 在支持向量外添加或减少任何样本点对分类决策面没有任何影响；
LR受所有数据点的影响。直接依赖数据分布，每个样本点都会影响决策面的结果
(2) LR 是参数模型，SVM 是非参数模型
参数模型的前提是假设数据服从某一分布，该分布由一些参数确定，在此基础上构建的模型称为参数模型；
非参数模型对于总体的分布不做任何假设，只是知道总体是一个随机变量，其分布是存在的，但是无法知道其分布的形式和相关参数
3.SVM 基于距离分类，LR 基于概率分类
SVM依赖数据表