CH3-集成学习之投票法与bagging

将一系列假想结合起来学习，在机器学习上的术语叫做集成学习 (ensemble learning)，而这些假想也可以称为个体学习器 (individual learner)：

1. 如果它们是同质的 (homogenous)，即只是用一种模型，那么它们常称为可称为基学习器 (base learner)

   同质的个体学习器低偏差高方差，用并行方法结合成的 bagging

   同质的个体学习器高偏差低方差，用序列方法结合成的 boosting

2. 如果它们是异质的 (heterogenous)，即使用多个模型，那么它们常称为组件学习器 (component learner)

   异质的个体学习器低偏差高方差，用分堆方法结合成的 stacking

元估计器 meta_estimator

    由很多基估计器 (base estimator) 组合成的估计器

带集成功能的 ensemble，多分类和多标签的 multiclass，多输出的 multioutput
选择模型的 model_selection，和流水线的 pipeline

装袋法 Bagging => bootstrap aggregating

从含有 N 个样本的总体进行 n 次重置抽样 (n 可以小于等于 N)，组成一个含有 n 个样本的自助样本集。
每次抽样获得一组数据，得到一个结果，多次结果求均值 （每个假想权重相同，均匀结合）

通过降低方差减小预测误差

随机森林： bagging + 特征采样
在 bagging 的基础上继续减小方差

task 05

from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

iris = datasets.load_iris()


X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2)


LR = LogisticRegression(max_iter=10000).fit(X_train,y_train)
SV  = SVC().fit(X_train,y_train)


print("train error: ",end ="")
print(LR.score(X_train,y_train),SV.score(X_train,y_train),)
print("test error: ",end = "")
print(LR.score(X_test,y_test),SV.score(X_test,y_test))

from sklearn.ensemble import BaggingClassifier
BC = BaggingClassifier(LogisticRegression(max_iter=10000),n_estimators=10)

BC.fit(X_train,y_train)
print(BC.score(X_test,y_test))