LR与SVM的不同:
1.损失函数不同:
LR的损失函数是交叉熵,SVM损失函数是合页损失函数
2.样本点对模型的作用不同:
SVM中,只有关键的样本点(支持向量)对模型结果有影响,而LR中,每一个样本点都对模型有影响。
3.输出不同:
LR可以对每个样本点给出类别判断的概率值(基于后验概率),SVM无法做到。
4.防过拟合能力不同:
SVM的损失函数就自带正则(损失函数中的1/2||w||^2项),而LR必须另外在损失函数上添加正则项。
5.处理非线性分类问题能力不同:
SVM可通过核函数灵活地将非线性问题转化为线性分类问题。LR如果要做到这一点,需要自己手动地进行特征转换。
6.处理分类问题能力不同:
SVM只能处理二类分类问题,如果要处理多类别分类,需要进行 one VS one 或one VS all建模。LR可以直接进行多类别分类。
7.对数据要求不同:
SVM依赖于数据表达出的距离测度,所以需要对数据进行标准化处理,而LR不需要。
8.抗噪声数据能力不同:
SVM只看支持向量,而LR要看全部样本,所以SVM抗噪声能力要强于LR。