风火编程--机器学习之随机森林

随机森林

描述
集成大量的决策树模型的集成学习算法.
每棵树的训练样本随机, 树的分裂(切分)随机, 特征选取随机
适用于数据准确度要求高的场景.树越多精准性越好.
可以使用集成学习和决策树的超参数.
极其随机森林的节点划分使用随机特征,随机阈值.不考虑信息熵,随机分割.高方差,低偏差.

接口
随机森林
RandomForestClassifier
RandomForestRegressor

from sklearn import datasets
from sklearn.ensemble import RandomForestClassifier
X,y = datasets.make_moons(n_samples=500, noise=0.3, random_state=123)

rf = RandomForestClassifier(n_estimators=500, random_state=123,oob_score=True)
rf.fit(X, y)
score = rf.oob_score_
print(score)

极其随机森林
ExtraTreeClassifier
ExtraTreeRegressor

from sklearn import datasets
from sklearn.ensemble import ExtraTreesClassifier
X,y = datasets.make_moons(n_samples=500, noise=0.3, random_state=123)

et_clf = ExtraTreesClassifier(
    n_estimators=500, bootstrap=True, max_leaf_nodes=16, random_state=123, oob_score=True)
et_clf.fit(X, y)
score = et_clf.oob_score_
print(score)