机器学习模型对比

1.SVM和LR（逻辑回归）

1.1 相同点

1. 都是线性分类器。本质上都是求一个最佳分类超平面。都是监督学习算法。
2. 都是判别模型。通过决策函数，判别输入特征之间的差别来进行分类。

• 常见的判别模型有：KNN、SVM、LR。
• 常见的生成模型有：朴素贝叶斯，隐马尔可夫模型。

1.2 不同点

1. 损失函数不同，LR的损失函数为交叉熵;svm的损失函数自带正则化，而LR需要在损失函数的基础上加上正则化。
2. 两个模型对数据和参数的敏感程度不同。SVM算法中仅支持向量起作用，大部分样本的增减对模型无影响；而LR会受到所有样本点的影响，如果训练数据不同类别严重不平衡，则会对最终结果产生影响（因此一定要先对数据进行平衡处理）。
3. LR是参数模型，而SVM是非参数模型。参数模型的前提是假设数据服从某一分布，该分布由一些参数确定（比如正太分布由均值和方差确定），在此基础上构建的模型称为参数模型；非参数模型对于总体的分布不做任何假设，只是知道总体是一个随机变量，其分布是存在的（分布中也可能存在参数），但是无法知道其分布的形式，更不知道分布的相关参数，只有在给定一些样本的条件下，能够依据非参数统计的方法进行推断。
4.  SVM 基于距离分类，LR 基于概率分类。（因此SVM在使用时，需要事先对数据进行标准化处理）
5. 在解决非线性问题时，支持向量机采用核函数的机制，而LR通常不采用核函数的方法。（因为LR的计算量太大了）

2.LR与朴素贝叶斯

2.1 相同点

        朴素贝叶斯和逻辑回归都属于分类模型，当朴素贝叶斯的条件概率服从高斯分布时，它计算出来的 P(Y=1|X) 形式跟逻辑回归是一样的。

2.2 不同点

• 逻辑回归是判别式模型 p(y|x)，朴素贝叶斯是生成式模型 p(x,y)：判别式模型估计的是条件概率分布，给定观测变量 x 和目标变量 y 的条件模型，由数据直接学习决策函数 y=f(x) 或者条件概率分布 P(y|x) 作为预测的模型。判别方法关心的是对于给定的输入 x，应该预测什么样的输出 y；而生成式模型估计的是联合概率分布，基本思想是首先建立样本的联合概率概率密度模型 P(x,y)，然后再得到后验概率 P(y|x)，再利用它进行分类，生成式更关心的是对于给定输入 x 和输出 y 的生成关系；
• 朴素贝叶斯的前提是条件独立，每个特征权重独立，所以如果数据不符合这个情况，朴素贝叶斯的分类表现就没逻辑会好了。

参考文章：参考文章1