将一系列假想结合起来学习,在机器学习上的术语叫做集成学习 (ensemble learning),而这些假想也可以称为个体学习器 (individual learner):
-
如果它们是同质的 (homogenous),即只是用一种模型,那么它们常称为可称为基学习器 (base learner)
同质的个体学习器低偏差高方差,用并行方法结合成的 bagging
同质的个体学习器高偏差低方差,用序列方法结合成的 boosting
-
如果它们是异质的 (heterogenous),即使用多个模型,那么它们常称为组件学习器 (component learner)
异质的个体学习器低偏差高方差,用分堆方法结合成的 stacking
元估计器 meta_estimator
由很多基估计器 (base estimator) 组合成的估计器
带集成功能的 ensemble,多分类和多标签的 multiclass,多输出的 multioutput
选择模型的 model_selection,和流水线的 pipeline
装袋法 Bagging => bootstrap aggregating
从含有 N 个样本的总体进行 n 次重置抽样 (n 可以小于等于 N),组成一个含有 n 个样本的自助样本集。
每次抽样获得一组数据,得到一个结果,多次结果求均值 (每个假想权重相同,均匀结合)
通过降低方差减小预测误差
随机森林: bagging + 特征采样
在 bagging 的基础上继续减小方差
task 05
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
iris = datasets.load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2)
LR = LogisticRegression(max_iter=10000).fit(X_train,y_train)
SV = SVC().fit(X_train,y_train)
print("train error: ",end ="")
print(LR.score(X_train,y_train),SV.score(X_train,y_train),)
print("test error: ",end = "")
print(LR.score(X_test,y_test),SV.score(X_test,y_test))
from sklearn.ensemble import BaggingClassifier
BC = BaggingClassifier(LogisticRegression(max_iter=10000),n_estimators=10)
BC.fit(X_train,y_train)
print(BC.score(X_test,y_test))