SVM与LR(逻辑回归)的区别和联系
区别:
1、SVM是非参数估计,本质上是解决二次规划问题;LR是参数估计,本质上是一个极大似然估计问题。
2、SVM被称为结构风险最小化,也就是让模型的泛化能力尽可能好;LR被称为经验风险最小化,也就是最小化分类误差。
3、SVM中使用的分类损失函数是合页损失函数;LR中使用的分类损失函数是交叉熵函数。
4、SVM中只使用支持向量来决定决策边界;LR使用所有的样本来构建分类器。
5、SVM不能直接输出分类概率;LR输出的是分类概率,可以通过阈值判断来确定分类。
6、SVM不适合大量的数据样本;LR对数据样本大小没有要求。
联系:
1、都是经常用到的分类算法。
2、本质上都属于线性分类问题,通过加入核函数就可以解决非线性问题。
3、两者的损失函数都是由正则项加分类误差来构成,调整其中的权重参数就可以对模型泛化能力和分类精度进行权衡,以得到最合适的模型参数。