常用机器学习算法优缺点

一、逻辑回归
1、优点
（1）简单、训练速度快
（2）容易理解
（3）可以用来进行特征的选择
2、缺点
（1）一般只能处理线性可分的二分类问题
（2）特征空间很大时，性能不是很好
（3）欠拟合
（4）两边的概率变化太小，没有区分度
（5）不能很好的处理大量多类特征
（6）多重共线性，但可以用L2正则化解决

二、KNN算法
1、优点
（1）容易理解和可视化
（2）训练时间复杂度为O(n)
（3）可用于非线性分类
2、缺点
（1）计算量大
（2）需要消耗大量内存
（3）类别不平衡问题时，准确率不高

三、RF算法
1、优点
（1）容易理解
（2）容易并行化
（3）能够给出特征重要性
（4）对缺失值不太敏感
2、缺点
（1）对小数据或者低维数据效果不好
（2）对噪音较大的数据容易过拟合
（3）如果基于信息增益的划分方式，偏向于属性值较多的特征

四、XGBoost
1、优点
（1）不仅是CART树，还可以线性分类器
（2）引入正则化，提高模型的泛化能力
（3）基于预排序算法，并行训练
（4）对损失函数进行二阶泰勒展开，利用了一阶和二阶导数
2、缺点
（1）基于level-wise的分裂方式
（2）预排序方法空间消耗比较大，不仅要保存特征值，也要保存特征的排序索引，同时时间消耗也大

五、lightGBM
1、优点
（1）直方图做差加速
（2）基于leaf-wise
（3）lightgbm使用了基于histogram的决策树算法，这一点不同与xgboost中的exact算法，histogram算法在内存和计算代价上都有不小优势。