随机森林基础知识总结

1. 决策树与随机森林的区别：决策树是一种非线性有监督分类模型，随机森林是一种非线性有监督分类模型，线性分类模型比如说逻辑回归，可能存在不可分问题，但是非线性分类就不存在。

 

2. 解决过拟合的两种方法: 一、剪枝；二、随机森林。

 

3. 随机森林是当前一个比较火的算法，它的优点有：

a. 在数据集上表现良好；

b. 在当前的很多数据集上相对于其他算法有很大的优势；

c. 能处理很高维度的数据，并且不用做特征选择；

d. 在训练完后，能够给出哪些feature比较重要；

e. 训练速度快；

f. 在训练过程中，能够检测到feature之间的相互影响；

g. 容易做成并行化方法；

h. 实现比较简单。

 

4. 基于决策树的学习算法给预测模型赋予了准确性、稳定性以及易解释性，和线性模型不同，它们对非线性关系也能有很好的映射，常见的基于树的模型有：决策树（decision trees）、随机森林（random forest）和提升树（boosted trees）。决策树虽然简单，但与最好的监督学习方法相比，它们通常没有竞争力。为了克服决策树的各种缺点，需要理解各种概念，比如自助聚集或袋装（boostrap aggregating bagging），随机森林（Random Forests），分类和回归树（简称CART）是用来解决分类或回归预测建模问题的决策树算法，常使用scikit生成并实现决策树：sklearn.tree.DecisionTreeClassifier和sklearn.tree.DecisionTreeRegressor。CART模型包括选择输入变量和那些变量上的分割点，直到创建出适当的树，使用贪婪算法（greedy algorithm）选择使用那个输入变量和分割点，以使成本函数最小化。树建造的结尾使用一个预定义的停止准则，比如分配到树上每一个叶子节点的训练样本达到最小数量，其他决策树算法：ID3，iterative dichotomiser 3, C4.5，ID3算法的改进，CHAID，Chi-squared automatic interaction detec