第13章 集成学习和随机森林 学习笔记下 随机森林和集成学习

目录

13-5 随机森林和Extra-Trees

随机森林

Extra-Trees

13-6 Ada Boosting和Gradient Boosting

Boosting

Gradient Boosting

Boosting 解决回归问题

13-7 Stacking

---

 

13-5 随机森林和Extra-Trees

 

随机森林

from sklearn.ensemble import RandomForestClassifier

rf_clf = RandomForestClassifier(n_estimators=500, oob_score=True, random_state=666, n_jobs=-1)
rf_clf.fit(X, y)

rf_clf2 = RandomForestClassifier(n_estimators=500, max_leaf_nodes=16, oob_score=True, random_state=666, n_jobs=-1)
rf_clf2.fit(X, y)
rf_clf2.oob_score_

Extra-Trees

from sklearn.ensemble import ExtraTreesClassifier

et_clf = ExtraTreesClassifier(n_estimators=500, bootstrap=True, oob_score=True, random_state=666, n_jobs=-1)
et_clf.fit(X, y)

13-6 Ada Boosting和Gradient Boosting

 

Boosting

在上一次的基础上处理未能正确处理的，然后集成

 

Gradient Boosting

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import AdaBoostClassifier

ada_clf = AdaBoostClassifier(
    DecisionTreeClassifier(max_depth=2), n_estimators=500)
ada_clf.fit(X_train, y_train)

from sklearn.ensemble import GradientBoostingClassifier

gb_clf = GradientBoostingClassifier(max_depth=2, n_estimators=30)
gb_clf.fit(X_train, y_train)

Boosting 解决回归问题

from sklearn.ensemble import AdaBoostRegressor
from sklearn.ensemble import GradientBoostingRegressor

13-7 Stacking

可以是解决回归也可以分类问题

以概率为brige就可以实现分类和回归

数据集分为三份，一份在第一层使用，第二份在第二层使用，第三份使用第三层

有一点像神经网络，如果层数增多，则是深度学习

深度学习很多时候面临过拟合