Logistic regression与SVM

Logistic模型和SVM很像，现在大概说一下两者的区别

① 寻找最优超平面的方法不同

形象点说，Logistic模型找的那个超平面，是尽量让所有点都远离它，而SVM寻找的那个超平面，是只让最靠近中间分割线的那些点尽量远离，即只用到那些“支持向量”的样本——所以叫“支持向量机”。

② SVM可以处理非线性的情况

比Logistic更强大的是，SVM还可以处理非线性的情况。​

③Logistic regression 和 SVM本质不同在于loss function的不同，Logistic regression的损失函数是 cross entropy loss， SVM是hinge loss，Adaboost的损失函数是 exponential loss 。常见的回归模型通常用均方误差 loss。​

在Andrew NG的课里讲到过：
1. 如果Feature的数量很大，跟样本数量差不多，这时候选用LR或者是Linear Kernel的SVM
2. 如果Feature的数量比较小，样本数量一般，不算大也不算小，选用SVM+Gaussian Kernel
3. 如果Feature的数量比较小，而样本数量很多，需要手工添加一些feature变成第一种情况

PS: loss function
http://image.diku.dk/shark/sphinx_pages/build/html/rest_sources/tutorials/concepts/library_desig