Adaboost，GBDT,Xgboost，RF,LR,SVM等繁多算法如何选择

繁多的算法，有些结构非常复杂，数学推导特别高深，但不见得就好过那些结构简单的算法。
比如从速度来讲，ml普通算法基本都比dl好，深度学习是想通过多层hidden layer学习到深层次的特征和规律。
但简单分类问题上，浅层神经网络达到的效果可能真的很好。

1.LR与SVM的区别和联系

联系：
1.LR和SVM都可以处理分类问题，且一般处理线性二分类（改进后可以处理多分类）
2. 都可以增加不同的正则化项L1,L2，且经常结果很相近
区别：
1.LR是参数模型，SVM是非参数模型。
2.损失函数不同，LR是logistical loss， SVM是hinge loss。损失函数目的都是增加对分类影响较大的数据点的权重。
3.SVM处理时只考虑support vectors，即与分类相关的少数点。
4.LR模型更容易理解，大规模线性分类很容易。SVM分类只要计算少数几个support vectors的距离，复杂核函数计算时，能够大大简化模型和计算。
.

2. RF与GBDT

1. GBDT由回归树构成。
2. RF是随机树的bagging，GBDT的树串行生成，希望单个决策树偏差小，方差大。GBDT的树串行生成树越多越容易过拟合。
3. RF的输出结果投票决定，GBDT时累加（加权累加）
4. GBDT对异常值比较敏感
5. RF的参数主要是 树的棵树，GBDT是输的深度，一般为1.
6. RF适合大样本。