LR和SVM的区别与联系

“LR和SVM本质不同在于loss function的不同“

LR的损失函数是Cross entropy loss，svm的损失函数是Hinge loss，两个模型都属于线性分类器，而且性能相当。

区别在于：

• LR的解是受数据本身分布影响的，而SVM的解不受数据分布的影响；
• LR的输出具有自然的概率意义，而SVM的输出不具有概率意义；
• SVM依赖数据表达的距离测度，所以在建模前需要对数据标准化，LR则不需要；
• SVM受惩罚系数C的影响较大，实验中需要做Validation，LR则不需要；
• LR适合于大样本学习，SVM适合于小样本学习。

 

换用其他的Loss函数的话，SVM就不再是SVM了。正是因为Hinge Loss的零区域对应的正是非支持向量的普通样本，从而所有的普通样本都不参与最终超平面的决定，这才是支持向量机最大的优势所在，对训练样本数目的依赖大大减少，而且提高了训练效率。