【python入门机器学习】Boosting集成学习

Boosting就是集成多个弱学习器，每个弱学习器都是针对训练数据的不同子集训练得到的，而每个弱学习器都会根据前一个弱学习器的表现进行加权，从而使得模型更加关注之前被错误分类的样本，进而提高模型的预测准确率和预测性能。

1、Ada Boosting

AdaBoost（Adaptive Boosting），其核心思想是通过逐步地加入新的弱学习器，不断提高被错误分类的样本的权重，从而使得后续的弱学习器更加关注这些被错误分类的样本，进而提高整个模型的性能。

 

代码示例：

#生产随机数据
from sklearn import datasets

X, y = datasets.make_moons(n_samples=500, noise=0.3, random_state=666) 

#切分
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666)

#借助sklearn接口实现adaboosting
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import AdaBoostClassifier

ada_clf = AdaBoostClassifier(
    DecisionTreeClassifier(max_depth=2), 
    n_estimators=500)  #集成500个分类器
ada_clf.fit(X_train, y_train)

ada_clf.score(X_test, y_test)

2、Gradient Boosting

以AdaBoost为基础进行扩展或改进的，它们的核心思想都是通过不断迭代和加权，将多个弱学习器集成成一个强学习器，从而提高模型的泛化能力和预测准确率。

训练第一个模型h1，产生错误e1;

针对e1训练第二个模型h2，产生错误e2；

针对e2训练第三个模型h3，产生错误e3；

最终预测据结果是：h1+h2+h3。

 

 

代码示例：

from sklearn.ensemble import GradientBoostingClassifier

gb_clf = GradientBoostingClassifier(max_depth=2, n_estimators=500) #默认决策树
gb_clf.fit(X_train, y_train)
gb_clf.score(X_test, y_test)

3、Boosting解决回归问题

from sklearn.ensemble import AdaBoostRegressor
from sklearn.ensemble import GradientBoostingRegressor