逻辑回归与SVM的对比

差异与优劣对比：

1、逻辑回归与SVM的损失函数不同，逻辑回归采用的是平方损失函数，SVM采用的是合页损失函数。但是两种损失函数的目的是相同的，都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。

2、SVM的合页损失函数有一块“平坦”的零区域，使得支持向量的解具有稀疏性，而逻辑回归的损失函数是光滑的单调函数，没有支持向量的概念，逻辑回归更依赖于更多的数据，受数据分布的影响。

3、逻辑回归的输出具有自然的概率意义，即给出预测标记的同时也给出了概率，而支持向量机不具有概率意义。

4、SVM依赖数据表达的距离测度，所以需要对数据先做 normalization；逻辑回归不受其影响。

使用情况：

当你的数据非常非常大然后完全跑不动SVM的时候，跑逻辑回归。SVM适合于小样本学习。

1、用如果特征量相对于样本量来说比较大，此时可以应用逻辑回归，或LinearSVM。

2、如果特征量比样本量少，而样本量又不是特别大的话，此时可以应用SVM+Gaussian Kernel。

3、如果特征量比样本量少，而样本量又特别大的话，此时可以应用逻辑回归或LinearSVM。