学习记录629@python机器学习集成方法之AdaBoost算法

概述

AdaBoost算法是集成学习方法中的一种，之前的随机森林算法是并联集成学习方法，AdaBoost算法是串联的。
它以一种高度自适应的方式按顺序训练弱学习器。针对分类问题，AdaBoost算法根据前一次的分类效果调整数据的权重，在上一个弱学习器中分类错误的样本的权重会在下一个弱学习器中增加，分类正确的样本的权重则相应减少，并且在每一轮迭代时会向模型加入一个新的弱学习器。不断重复调整权重和训练弱学习器，直到误分类数低于预设值或迭代次数达到指定最大值，最终得到一个强学习器。简单来说，AdaBoost算法的核心思想就是调整错误样本的权重，进而迭代升级。
其数学原理较为复杂，着实看不懂，就先了解原理吧。

代码实战

from sklearn.datasets import load_iris
from sklearn import model_selection
# 从Scikit-Learn库导入集成学习模型的随机森林分类算法
from sklearn.ensemble import RandomForestClassifier
#载入鸢尾花数据集
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y,
                                                                    test_size=0.25, random_state=1234)
clf=RandomForestClassifier().fit(X_train, y_train)
gnb_pred = clf.predict(X_test)
print("预测值{}".format(gnb_pred))
print("原值{}".format(y_test))
print("得分：{}".format(clf.score(X_test,y_test)))

# 看下随机森林对于决策树的集成使用详情
print(clf.estimators_)