“LR和SVM本质不同在于loss function的不同“
LR的损失函数是Cross entropy loss,svm的损失函数是Hinge loss,两个模型都属于线性分类器,而且性能相当。
区别在于:
- LR的解是受数据本身分布影响的,而SVM的解不受数据分布的影响;
- LR的输出具有自然的概率意义,而SVM的输出不具有概率意义;
- SVM依赖数据表达的距离测度,所以在建模前需要对数据标准化,LR则不需要;
- SVM受惩罚系数C的影响较大,实验中需要做Validation,LR则不需要;
- LR适合于大样本学习,SVM适合于小样本学习。
换用其他的Loss函数的话,SVM就不再是SVM了。正是因为Hinge Loss的零区域对应的正是非支持向量的普通样本,从而所有的普通样本都不参与最终超平面的决定,这才是支持向量机最大的优势所在,对训练样本数目的依赖大大减少,而且提高了训练效率。