[机器学习笔记] 支持向量机SVM 和逻辑回归LR的异同

参考： https://www.cnblogs.com/zhizhan/p/5038747.html

为什么把SVM和LR放在一起进行比较？

一是因为这两个模型应用广泛。
二是因为这两个模型有很多相同点，在使用时容易混淆，不知道用哪个好，特别是对初学者。

相同点

1. 都是线性分类器。本质上都是求一个最佳分类超平面。
2. 都是监督学习算法。
3. 都是判别模型。通过决策函数，判别输入特征之间的差别来进行分类。
   常见的判别模型有：KNN、SVM、LR。
   常见的生成模型有：朴素贝叶斯，隐马尔可夫模型。

不同点

1) 本质上是损失函数不同
LR的损失函数是交叉熵：

SVM的目标函数：