机器学习面试第1弹 常用分类算法的优缺点 + 线性回归vs.逻辑回归 + 逻辑回归vs. SVM

 

1. 常用分类算法的优缺点

2. 线性回归vs.逻辑回归

 

3. 逻辑回归vs. SVM

相同点： 
       1.都是分类模型 
       2.都是判别模型 
不同点： 
       1.从损失函数角度：SVM用的是hinge loss,而logistic回归用的是对率损失 

       2. 从风险函数角度：SVM软间隔自带正则，属于结构风险最小化；logistic属于经验风险最小化；

       3. 从模型角度：logistic回归对先验分布有要求（伯努利分布），属于参数模型，SVM属于非参模型；
       4..从方法角度： SVM用的是统计方法，SVM最大间隔有完备的理论，logistic回归是概率方法。 
       5.从对噪声的影响角度：SVM对噪声比较敏感，而logistic回归对噪声不是很敏感，是因为如果噪声点落在了支持向量上，将会直接影响判别面的方程。而logistic回归通过最大似然求解模型参数，将会弱化噪声的影响。 
       6. 从结果角度：SVM只能得到测试点属于哪一类，而logistic回归能得到属于哪一类的概率，当然在SVM也可以通过样本点离判别面的相对距离进行输出属于该类的概率。 
       7. 从优化方法角度：SVM有专门属于自己的特点的优化方法，SMO算法，该算法对于优化SVM非常的高效。logistic回归可以通过一些常用的算法，如梯度下降，共轭梯度下降，牛顿法 
       8. 处理非线性的角度： SVM可以通过核方法，logistic可以通过特征的离散化将其非线性化。 
       9..处理大数据角度： SVM很难处理大数据，因为SVM模型主要是由支持向量决定，而支持向量随着数据量多项式增加。而logistic可以很容易运用到大数据当中。