线性回归，决策树，knn等6种机器学习回归方法总结

线性回归：

线性回归所能够模拟的关系其实远不止线性关系。线性回归中的“线性”指的是系数的线性，而通过对特征的非线性变换，以及广义线性模型的推广，输出和特征之间的函数关系可以是高度非线性的。

决策树：

在特征选择中通常使用的准则是：信息增益。

决策树生成选择好特征后，就从根节点触发，对节点计算所有特征的信息增益，选择信息增益最大的特征作为节点特征，根据该特征的不同取值建立子节点；对每个子节点使用相同的方式生成新的子节点，直到信息增益很小或者没有特征可以选择为止。

ID3 算法

ID3 是最早提出的决策树算法，他就是利用信息增益来选择特征的。

C4.5 算法

他是 ID3 的改进版，他不是直接使用信息增益，而是引入“信息增益比”指标作为特征的选择依据。

CART（Classification and Regression Tree）

这种算法即可以用于分类，也可以用于回归问题。CART 算法使用了基尼系数取代了信息熵模型。

决策树的优缺点

优点

• 决策树易于理解和解释，可以可视化分析，容易提取出规则；
• 可以同时处理标称型和数值型数据；
• 比较适合处理有缺失属性的样本；
• 能够处理不相关的特征；
• 测试数据集时，运行速度比较快；
• 在相对短的时间内能够对大型数据源做出可行且效果良好的结果。

缺点

• 容易发生过拟合（随机森林可以很大程度上减少过拟合）；
• 容易忽略数据集中属性的相互关联；
• 对于那些各类别样本数量不一致的数据，在决策树中，进行属性划分时，不同的判定准则会带来不同的属性选择倾向；信息增益准则对可取数目较多的属性有所偏好（典型代表ID3算法），而增益率准则（CART）则对可取数目较少的属性有所偏好，但CART进行属性划分时候不再简单地直接利用增益率尽心划分，而是采用一种启发式规则）（只要是使用了信息增益，都有这个缺点，如RF）。
• ID3算法计算信息增益时结果偏向数值比较多的特征。

 

KNN:

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别

 

优点

• 理论成熟，思想简单，既可以用来做分类也可以用来做回归；
• 可用于非线性分类；
• 训练时间复杂度为O(n)；
• 对数据没有假设，准确度高，对outlier不敏感；
• KNN是一种在线技术，新数据可以直接加入数据集而不必进行重新训练；
• KNN理论简单，容易实现；

缺点

• 样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）效果差；
• 需要大量内存；
• 对于样本容量大的数据集计算量比较大（体现在距离计算上）；
• 样本不平衡时，预测偏差比较大。如：某一类的样本比较少，而其它类样本比较多；
• KNN每一次分类都会重新进行一次全局运算；
• k值大小的选择没有理论选择最优，往往是结合K-折交叉验证得到最优k值选择；

 

 

随机森林：

随机森林是由很多决策树构成的，不同决策树之间没有关联。

当我们进行分类任务时，新的输入样本进入，就让森林中的每一棵决策树分别进行判断和分类，每个决策树会得到一个自己的分类结果，决策树的分类结果中哪一个分类最多，那么随机森林就会把这个结果当做最终的结果。

随机森林的建立过程：

 

随机森林的优缺点

优点

• 它可以出来很高维度（特征很多）的数据，并且不用降维，无需做特征选择
• 它可以判断特征的重要程度
• 可以判断出不同特征之间的相互影响
• 不容易过拟合
• 训练速度比较快，容易做成并行方法
• 实现起来比较简单
• 对于不平衡的数据集来说，它可以平衡误差。
• 如果有很大一部分的特征遗失，仍可以维持准确度。

缺点

• 随机森林已经被证明在某些噪音较大的分类或回归问题上会过拟合。
• 对于有不同取值的属性的数据，取值划分较多的属性会对随机森林产生更大的影响，所以随机森林在这种数据上产出的属性权值是不可信的

boost:

具体过程：

1. 通过加法模型将基础模型进行线性的组合。
2. 每一轮训练都提升那些错误率小的基础模型权重，同时减小错误率高的模型权重。
3. 在每一轮改变训练数据的权值或概率分布，通过提高那些在前一轮被弱分类器分错样例的权值，减小前一轮分对样例的权值，来使得分类器对误分的数据有较好的效果。

 

优点：

• 很好的利用了弱分类器进行级联；
• 可以将不同的分类算法作为弱分类器；
• AdaBoost具有很高的精度；
• 相对于bagging算法和Random Forest算法，AdaBoost充分考虑的每个分类器的权重；

缺点：

• AdaBoost迭代次数也就是弱分类器数目不太好设定，可以使用交叉验证来进行确定；
• 数据不平衡导致分类精度下降；
• 训练比较耗时，每次重新选择当前分类器最好切分点；

 

GBDT：

基于残差来做。

• GBDT 它的非线性变换比较多，表达能力强，而且不需要做复杂的特征工程和特征变换。
• GBDT 的缺点也很明显，Boost 是一个串行过程，不好并行化，而且计算复杂度高，同时不太适合高维稀疏特征；
• 传统 GBDT 在优化时只用到一阶导数信息