问题
机器学习中LR(Logistic Regression)和SVM(Support Vector Machine)有什么区别与联系?
背景
LR和SVM的概念大家都有了解甚至很熟悉了,不过在面试中可能不止是简单地单独考察你对LR或SVM的理解,可能会让你对这两个算法进行比较分析,因此就有必要将两者放在一起比较一下。
LR和SVM的联系
LR是对对数几率进行线性回归。
SVM是在特征空间中寻找一个间隔最大化的分类超平面来分割两类数据。
1. LR和SVM都是分 类算法
普通的LR和SVM算法只能处理二分类问题,当然,通过改进后的LR和SVM都可以用来处理多分类问题(后面会详细解释)。
2. 在不考虑核函数时,两者都是线性分类算法
注意,不考虑核函数时两者都是线性分类器。LR、SVM加了核函数后为分别为KLR、KSVM,只不过一般而言采用KSVM较多而KLR用得较少。
3. 两者都属于监督学习算法
4. 两者都是判别式模型
什么是判别式模型?假设给定观测集合X,需要预测的变量集合为Y,那么判别式模型就是直接对条件概率分布P(Y|X)进行建模来预测 Y;而生成式模型是指,先对联合概率模型P(X,Y)进行建模,然后在给定观测集合X的情况下,通过计算边